tahoe-lafs/tahoe-lafs.git
16 years agotest_system: add test coverage for immutable download.ConsumerAdapter, remove debug...
Brian Warner [Mon, 6 Oct 2008 22:50:37 +0000 (15:50 -0700)]
test_system: add test coverage for immutable download.ConsumerAdapter, remove debug messages

16 years agoftp server: initial implementation. Still needs unit tests, custom Twisted patches...
Brian Warner [Mon, 6 Oct 2008 19:52:36 +0000 (12:52 -0700)]
ftp server: initial implementation. Still needs unit tests, custom Twisted patches. For #512

16 years agotest_cli.py: remove unused imports
Brian Warner [Tue, 7 Oct 2008 00:42:04 +0000 (17:42 -0700)]
test_cli.py: remove unused imports

16 years agoCLI: remove 'tahoe admin generate-keypair', since the pycryptopp ecdsa API is about...
Brian Warner [Tue, 7 Oct 2008 00:23:20 +0000 (17:23 -0700)]
CLI: remove 'tahoe admin generate-keypair', since the pycryptopp ecdsa API is about to change incompatibly. We'll undo this once pycryptopp is updated

16 years agodocs: update architecture.txt 's section on the vdrive a.k.a. filesystem layer
Zooko O'Whielacronx [Mon, 6 Oct 2008 21:05:00 +0000 (14:05 -0700)]
docs: update architecture.txt 's section on the vdrive a.k.a. filesystem layer
Remove some obsolete parts (correct at the time, now incorrect), change terminology to reflect my preference: s/vdrive/filesystem/ and s/dirnode/directory/, and make a few other small changes.

16 years agodirnode: fix my remarkably-consistent 'metdadata' typo
Brian Warner [Fri, 3 Oct 2008 01:08:45 +0000 (18:08 -0700)]
dirnode: fix my remarkably-consistent 'metdadata' typo

16 years agointerfaces: fix minor typo
Brian Warner [Fri, 3 Oct 2008 00:52:49 +0000 (17:52 -0700)]
interfaces: fix minor typo

16 years agodirnode: add get_child_and_metadata_at_path
Brian Warner [Fri, 3 Oct 2008 00:52:03 +0000 (17:52 -0700)]
dirnode: add get_child_and_metadata_at_path

16 years agostop using 'as' as an identifier: as with 'with', 'as' has become a reserved word...
Brian Warner [Fri, 3 Oct 2008 00:27:49 +0000 (17:27 -0700)]
stop using 'as' as an identifier: as with 'with', 'as' has become a reserved word in python 2.6

16 years agoscripts/admin: split up generate_keypair code so that unit tests can use it more...
Brian Warner [Wed, 1 Oct 2008 23:52:38 +0000 (16:52 -0700)]
scripts/admin: split up generate_keypair code so that unit tests can use it more easily

16 years agodocs: add some notes about things to do for a Tahoe release on pypi, freshmeat, and...
Zooko O'Whielacronx [Wed, 1 Oct 2008 21:07:03 +0000 (14:07 -0700)]
docs: add some notes about things to do for a Tahoe release on pypi, freshmeat, and launchpad

16 years agomisc/cpu-watcher.tac: use writeaside-and-rename for the history.pickle file
Brian Warner [Wed, 1 Oct 2008 00:30:53 +0000 (17:30 -0700)]
misc/cpu-watcher.tac: use writeaside-and-rename for the history.pickle file

16 years agomisc/spacetime: use async polling so we can add a 60-second timeout, add an index...
Brian Warner [Tue, 30 Sep 2008 23:34:48 +0000 (16:34 -0700)]
misc/spacetime: use async polling so we can add a 60-second timeout, add an index to the 'url' Axiom column for 2x speedup

16 years ago#518: replace various BASEDIR/* config files with a single BASEDIR/tahoe.cfg, with...
Brian Warner [Tue, 30 Sep 2008 23:21:49 +0000 (16:21 -0700)]
#518: replace various BASEDIR/* config files with a single BASEDIR/tahoe.cfg, with backwards-compatibility of course

16 years agotolerate simplejson-2.0.0 and newer, which frequently return bytestrings instead...
Brian Warner [Tue, 30 Sep 2008 22:21:06 +0000 (15:21 -0700)]
tolerate simplejson-2.0.0 and newer, which frequently return bytestrings instead of unicode objects. Closes #523

16 years agomunin/tahoe_doomsday: oops, tolerate 'null' in the timeleft results, to unbreak the...
Brian Warner [Tue, 30 Sep 2008 20:20:51 +0000 (13:20 -0700)]
munin/tahoe_doomsday: oops, tolerate 'null' in the timeleft results, to unbreak the 2wk/4wk graphs

16 years agotest_node: improve coverage of advertised_ip_addresses a bit
Brian Warner [Tue, 30 Sep 2008 06:08:16 +0000 (23:08 -0700)]
test_node: improve coverage of advertised_ip_addresses a bit

16 years agotestutil.PollMixin: set default timeout (to 100s), emit a more helpful error when...
Brian Warner [Tue, 30 Sep 2008 05:23:09 +0000 (22:23 -0700)]
testutil.PollMixin: set default timeout (to 100s), emit a more helpful error when the timeout is hit

16 years agorepair: fix test to map from storage index to directory structure properly (thanks...
Zooko O'Whielacronx [Fri, 26 Sep 2008 22:49:13 +0000 (15:49 -0700)]
repair: fix test to map from storage index to directory structure properly (thanks, cygwin buildbot, for being so kloodgey that you won't accept random binary filenames and thus making me notice this bug)

16 years agorepairer: assert that the test code isn't accidentally allowing the repairer code...
Zooko O'Whielacronx [Fri, 26 Sep 2008 22:23:53 +0000 (15:23 -0700)]
repairer: assert that the test code isn't accidentally allowing the repairer code which is being tested to do impossible things

16 years agorepairer: enhance the repairer tests
Zooko O'Whielacronx [Fri, 26 Sep 2008 17:47:19 +0000 (10:47 -0700)]
repairer: enhance the repairer tests
Make sure the file can actually be downloaded afterward, that it used one of the
deleted and then repaired shares to do so, and that it repairs from multiple
deletions at once (without using more than a reasonable amount of calls to
storage server allocate).

16 years agonetstring: add required_trailer= argument
Brian Warner [Fri, 26 Sep 2008 16:57:54 +0000 (09:57 -0700)]
netstring: add required_trailer= argument

16 years agotest_netstring.py: move netstring tests to a separate file
Brian Warner [Fri, 26 Sep 2008 16:55:26 +0000 (09:55 -0700)]
test_netstring.py: move netstring tests to a separate file

16 years agomove netstring() and split_netstring() into a separate util.netstring module
Brian Warner [Fri, 26 Sep 2008 04:38:24 +0000 (21:38 -0700)]
move netstring() and split_netstring() into a separate util.netstring module

16 years agorepairer: remove a test that doesn't apply to the repair-from-corruption case
Zooko O'Whielacronx [Thu, 25 Sep 2008 22:09:54 +0000 (15:09 -0700)]
repairer: remove a test that doesn't apply to the repair-from-corruption case

16 years agorepairer: add a test that repairer fixes corrupted shares (in addition to the test...
Zooko O'Whielacronx [Thu, 25 Sep 2008 22:07:12 +0000 (15:07 -0700)]
repairer: add a test that repairer fixes corrupted shares (in addition to the test that it fixes deleted shares)

16 years agodocs: proposed mutable file crypto design with ECDSA, 96-bit private keys, and semi...
Zooko O'Whielacronx [Thu, 25 Sep 2008 21:34:57 +0000 (14:34 -0700)]
docs: proposed mutable file crypto design with ECDSA, 96-bit private keys, and semi-private keys (from http://allmydata.org/~zooko/lafs.pdf )

16 years agodocs: mutable file crypto design (from http://allmydata.org/~zooko/lafs.pdf )
Zooko O'Whielacronx [Thu, 25 Sep 2008 21:34:33 +0000 (14:34 -0700)]
docs: mutable file crypto design (from http://allmydata.org/~zooko/lafs.pdf )

16 years agorepairer: fix swapped docstrings; thanks Brian
Zooko O'Whielacronx [Thu, 25 Sep 2008 18:24:36 +0000 (11:24 -0700)]
repairer: fix swapped docstrings; thanks Brian

16 years agotrivial: remove unused imports; thanks, pyflakes
Zooko O'Whielacronx [Thu, 25 Sep 2008 18:04:22 +0000 (11:04 -0700)]
trivial: remove unused imports; thanks, pyflakes

16 years agotrivial: remove unused imports -- thanks, pyflakes
Zooko O'Whielacronx [Thu, 25 Sep 2008 17:34:53 +0000 (10:34 -0700)]
trivial: remove unused imports -- thanks, pyflakes

16 years agorepairer: add basic test of repairer, move tests of immutable checker/repairer from...
Zooko O'Whielacronx [Thu, 25 Sep 2008 17:16:53 +0000 (10:16 -0700)]
repairer: add basic test of repairer, move tests of immutable checker/repairer from test_system to test_immutable_checker, remove obsolete test helper code from test_filenode
Hm...  "Checker" ought to be renamed to "CheckerRepairer" or "Repairer" at some point...

16 years agosetup: remove a few minimal unit tests from test_filenode which have been obviated...
Zooko O'Whielacronx [Thu, 25 Sep 2008 16:15:44 +0000 (09:15 -0700)]
setup: remove a few minimal unit tests from test_filenode which have been obviated by much better tests in test_mutable and test_system

16 years agogui/macapp: rough cut of ui tweaks; configurability, auto-mount
robk-tahoe [Thu, 25 Sep 2008 14:12:24 +0000 (07:12 -0700)]
gui/macapp: rough cut of ui tweaks; configurability, auto-mount

chatting with peter, two things the mac gui needed were the ability to mount
the 'allmydata drive' automatically upon launching the app, and open the
Finder to reveal it.  (also a request to hide the debug 'open webroot' stuff)

this (somewhat rough) patch implements all the above as default behaviour

it also contains a quick configuration mechanism for the gui - rather than a
preferences gui, running with a more 'tahoe' styled mechanism, the contents
of a few optional files can modify the default behaviour, specifically file
in ~/.tahoe/gui.conf control behaviour as follows:

auto-mount (bool): if set (the default) then the mac app will, upon launch
automatically mount the 'tahoe:' alias with the display name 'Allmydata'
using a mountpoint of ~/.tahoe/mnt/__auto__

auto-open (bool): if set (the default) then upon mounting a file system
(including the auto-mount if set) finder will be opened to the mountpoint
of the filesystem, which essentially reveals the newly mounted drive in a
Finder window

show-webopen (bool): if set (false by default) then the 'open webroot'
action will be made available in both the dock and file menus of the app

daemon-timout (int): sets the daemon-timeout option passed into tahoe fuse
when a filesystem is mounted. this defaults to 5 min

files of type (int) much, naturally contain a parsable int representation.
files of type (bool) are considered true if their (case-insensitive) contents
are any of ['y', 'yes', 'true', 'on', '1'] and considered false otherwise.

16 years agogui/macapp: improve 'about' box
robk-tahoe [Thu, 25 Sep 2008 13:54:15 +0000 (06:54 -0700)]
gui/macapp: improve 'about' box

adds exactly 1 metric dollop of professionalism to the previously
rather amateurish looking about box.

16 years agofuse/impl_c: UNDO --auto-fsid option
robk-tahoe [Thu, 25 Sep 2008 13:47:30 +0000 (06:47 -0700)]
fuse/impl_c: UNDO --auto-fsid option

rolling back:

Thu Sep 25 14:42:23 BST 2008  robk-tahoe@allmydata.com
  * fuse/impl_c: add --auto-fsid option

  this was inspired by reading the fuse docs and discovering the 'fsid' option
  to fuse_main, and was _intended_ to support a sort of 'stability' to the
  filesystem (specifically derived from the root-uri mounted, whether directly
  or via an alias) to support mac aliases across unmount/remount etc.

  some experimentation shows that that doesn't actually work, and that, at
  least for mac aliases in my testing, they're tied to path-to-mountpoint and
  not to the fsid - which seems to have no bearing.  perhaps the 'local' flag
  is causing weirdness therein.

  at any rate, I'm recording it simply for posterity, in case it turns out to
  be useful after all somewhere down the road.

    M ./contrib/fuse/impl_c/blackmatch.py +13

16 years agofuse/impl_c: add --auto-fsid option
robk-tahoe [Thu, 25 Sep 2008 13:42:23 +0000 (06:42 -0700)]
fuse/impl_c: add --auto-fsid option

this was inspired by reading the fuse docs and discovering the 'fsid' option
to fuse_main, and was _intended_ to support a sort of 'stability' to the
filesystem (specifically derived from the root-uri mounted, whether directly
or via an alias) to support mac aliases across unmount/remount etc.

some experimentation shows that that doesn't actually work, and that, at
least for mac aliases in my testing, they're tied to path-to-mountpoint and
not to the fsid - which seems to have no bearing.  perhaps the 'local' flag
is causing weirdness therein.

at any rate, I'm recording it simply for posterity, in case it turns out to
be useful after all somewhere down the road.

16 years agomanhole: be more tolerant of authorized_keys. files in .tahoe
robk-tahoe [Thu, 25 Sep 2008 03:11:49 +0000 (20:11 -0700)]
manhole: be more tolerant of authorized_keys. files in .tahoe

both peter and I independently tried to do the same thing to eliminate the
authorized_keys file which was causing problems with the broken mac build
(c.f. #522) namely mv authorized_keys.8223{,.bak}  but the node is, ahem,
let's say 'intolerant' of the trailing .bak - rather than disable the
manhole as one might expect, it instead causes the node to explode on
startup.  this patch makes it skip over anything that doesn't pass the
'parse this trailing stuff as an int' test.

16 years agofuse/impl_c: move mac tahoefuse impl out into contrib/fuse
robk-tahoe [Thu, 25 Sep 2008 01:42:14 +0000 (18:42 -0700)]
fuse/impl_c: move mac tahoefuse impl out into contrib/fuse

For a variety of reasons, high amongst them the fact that many people
interested in fuse support for tahoe seem to have missed its existence,
the existing fuse implementation for tahoe, previously 'mac/tahoefuse.py'
has been renamed and moved.

It was suggested that, even though the mac build depends upon it, that
the mac/tahoefuse implementation be moved into contrib/fuse along with
the other fuse implementations.  The fact that it's not as extensively
covered by unit tests as mainline tahoe was given as corroboration.

In a bid to try and stem the confusion inherent in having tahoe_fuse,
tfuse and tahoefuse jumbled together (not necessarily helped by
referring to them as impl_a, b and c respectively) I'm hereby renaming
tahoefuse as 'blackmatch'  (black match is, per wikipedia "a type of
crude fuse" hey, I'm a punny guy)  Maybe one day it'll be promoted to
be 'quickmatch' instead...

Anyway, this patch moves mac/tahoefuse.py out to contrib/fuse/impl_c/
as blackmatch.py, and makes appropriate changes to the mac build process
to transclude blackmatch therein.  this leaves the extant fuse.py and
fuseparts business in mac/ as-is and doesn't attempt to address such
issues in contrib/fuse/impl_c.

it is left as an exercise to the reader (or the reader of a message
to follow) as to how to deal with the 'fuse' python module on the mac.

as of this time, blackmatch should work on both mac and linux, and
passes the four extant tests in runtests.  (fwiw neither impl_a nor
impl_b have I managed to get working on the mac yet)

since blackmatch supports a read-write and caching fuse interface to
tahoe, some write tests obviously need to be added to runtests.

16 years agomacapp: changes to support aliases, updated tahoefuse command line options
robk-tahoe [Thu, 25 Sep 2008 01:01:28 +0000 (18:01 -0700)]
macapp: changes to support aliases, updated tahoefuse command line options

the tahoefuse command line options changed to support the runtests harness,
and as part of that gained support for named aliases via --alias

this changes the mac app's invocation of tahoefuse to match that, and also
changes the gui to present the list of defined aliases as valid mounts

this replaces the previous logic which examined the ~/.tahoe/private directory
looking for files ending in '.cap' - an ad-hoc alias mechanism.

if a file is found matching ~/.tahoe/private/ALIASNAME.icns then that will still
be passed to tahoefuse as the icon to display for that filesystem. if no such
file is found, the allmydata icon will be used by default.

the '-olocal' option is passed to tahoefuse.  this is potentially contentious.
specifically this is telling the OS that this is a 'local' filesystem, which is
intended to be used to locally attached devices.  however leopard (OSX 10.5)
will only display non-local filesystems in the Finder's side bar if they are of
fs types specifically known by Finder to be network file systems (nfs, cifs,
webdav, afp)  hence the -olocal flag is the only way on leopard to cause finder
to display the mounted filesystem in the sidebar, but it displays as a 'device'.
there is a potential (i.e. the fuse docs carry warnings) that this may cause
vague and unspecified undesirable behaviour.
(c.f. http://code.google.com/p/macfuse/wiki/FAQ specifically Q4.3 and Q4.1)

16 years agofuse/impl_c: reworking of mac/tahoefuse, command line options, test integration
robk-tahoe [Thu, 25 Sep 2008 00:15:35 +0000 (17:15 -0700)]
fuse/impl_c: reworking of mac/tahoefuse, command line options, test integration

a handful of changes to the tahoefuse implementation used by the mac build, to
make command line option parsing more flexible and robust, and moreover to
facilitate integration of this implementation with the 'runtests' test harness
used to test the other two implementations.

this patch includes;
- improvements to command line option parsing [ see below ]
- support for 'aliases' akin to other tahoe tools
- tweaks to support linux (ubuntu hardy)

the linux support tweaks are, or at least seem to be, a result of the fact that
hardy ships with fuse 0.2pre3, as opposed to the fuse0.2 that macfuse is based
upon.  at least the versions I was working with have discrepencies in their
interfaces, but on reflection this is probably a 'python-fuse' version issue
rather than fuse per se.  At any rate, the fixes to handling the Stat objects
should be safe against either version, it's just that the bindings on hardy
lacked code that was in the 'fuse' python module on the mac...

command line options:

the need for more flexible invocation in support of the runtests harness led
me to rework the argument parsing from some simple positional hacks with a
pass-through of the remainder to the fuse binding's 'fuse_main' to a system
using twisted.usage to parse arguments, and having just one option '-o' being
explicitly a pass-through for -o options to fuse_main. the options are now:

--node-directory NODEDIR : this is used to look up the node-url to connect
to if that's not specified concretely on the command line, and also used to
determine the location of the cache directory used by the implementation,
specifically '_cache' within the nodedir.  default value: ~/.tahoe

--node-url NODEURL : specify a node-url taking precendence over that found
in the node.url file within the nodedir

--alias ALIAS : specifies the named alias should be mounted. a lookup is
performed in the alias table within 'nodedir' to find the root dir cap
the named alias must exist in the alias table of the specified nodedir

--root-uri ROOTURI : specifies that the given directory uri should be mounted

at least one of --alias and --root-uri must be given (which directory to mount
must be specified somehow)  if both are given --alias takes precedence.

--cache-timeout TIMEOUTSECS : specifies the number of seconds that cached
directory data should be considered valid for.  this tahoefuse implementation
implements directory caching for a limited time; largely because the mac (i.e.
the Finder in particular) tends to make a large number of requests in quick
successsion when browsing the filesystem.  on the flip side, the 'runtests'
unit tests fail in the face of such caching because the changes made to the
underlying tahoe directories are not reflected in the fuse presentation.  by
specifying a cache-timeout of 0 seconds, runtests can force the fuse layer
into refetching directory data upon each request.

any number of -oname=value options may be specified on the command line,
and they will all be passed into the underlying fuse_main call.

a single non-optional argument, the mountpoint, must also be given.

16 years agofuse/tests: slew of changes to fuse 'runtests'
robk-tahoe [Wed, 24 Sep 2008 18:36:01 +0000 (11:36 -0700)]
fuse/tests: slew of changes to fuse 'runtests'

This patch makes a significant number of changes to the fuse 'runtests' script
which stem from my efforts to integrate the third fuse implementation into this
framework.  Perhaps not all were necessary to that end, and I beg nejucomo's
forebearance if I got too carried away.

- cleaned up the blank lines; imho blank lines should be empty

- made the unmount command switch based on platform, since macfuse just uses
'umount' not the 'fusermount' command (which doesn't exist)

- made the expected working dir for runtests the contrib/fuse dir, not the
top-level tahoe source tree - see also discussion of --path-to-tahoe below

- significantly reworked the ImplProcManager class.  rather than subclassing
for each fuse implementation to be tested, the new version is based on
instantiating objects and providing relevant config info to the constructor.
this was motivated by a desire to eliminate the duplication of similar but
subtly different code between instances, framed by consideration of increasing
the number of platforms and implementations involved. each implementation to
test is thus reduced to the pertinent import and an entry in the
'implementations' table defining how to handle that implementation. this also
provides a way to specify which sets of tests to run for each implementation,
more on that below.

- significantly reworked the command line options parsing, using twisted.usage;

what used to be a single optional argument is now represented by the
--test-type option which allows one to choose between running unittests, the
system tests, or both.

the --implementations option allows for a specific (comma-separated) list of
implemenations to be tested, or the default 'all'

the --tests option allows for a specific (comma-separated) list of tests sets
to be run, or the default 'all'.  note that only the intersection of tests
requested on the command line and tests relevant to each implementation will
be run. see below for more on tests sets.

the --path-to-tahoe open allows for the path to the 'tahoe' executable to be
specified. it defaults to '../../bin/tahoe' which is the location of the tahoe
script in the source tree relative to the contrib/fuse dir by default.

the --tmp-dir option controls where temporary directories (and hence
mountpoints) are created during the test.  this defaults to /tmp - a change
from the previous behaviour of using the system default dir for calls to
tempfile.mkdtemp(), a behaviour which can be obtained by providing an empty
value, e.g. "--tmp-dir="

the --debug-wait flag causes the test runner to pause waiting upon user
input at various stages through the testing, which facilitates debugging e.g.
by allowing the user to open a browser and explore or modify the contents of
the ephemeral grid after it has been instantiated but before tests are run,
or make environmental adjustments before actually triggering fuse mounts etc.
note that the webapi url for the first client node is printed out upon its
startup to facilitate this sort of debugging also.

- the default tmp dir was changed, and made configurable. previously the
default behaviour of tempfile.mkdtemp() was used.  it turns out that, at least
on the mac, that led to temporary directories to be created in a location
which ultimately led to mountpoint paths longer than could be handled by
macfuse - specifically mounted filesystems could not be unmounted and would
'leak'. by changing the default location to be rooted at /tmp this leads to
mountpoint paths short enough to be supported without problems.

- tests are now grouped into 'sets' by method name prefix.  all the existing
tests have been moved into the 'read' set, i.e. with method names starting
'test_read_'. this is intended to facilitate the fact that some implementations
are read-only, and some support write, so the applicability of tests will vary
by implementation. the 'implementations' table, which governs the configuration
of the ImplProcManager responsible for a given implementation, provides a list
of 'test' (i.e test set names) which are applicable to that implementation.
note no 'write' tests yet exist, this is merely laying the groundwork.

- the 'expected output' of the tahoe command, which is checked for 'surprising'
output by regex match, can be confused by spurious output from libraries.
specfically, testing on the mac produced a warning message about zope interface
resolution various multiple eggs.  the 'check_tahoe_output()' function now has
a list of 'ignorable_lines' (each a regex) which will be discarded before the
remainder of the output of the tahoe script is matched against expectation.

- cleaned up a typo, and a few spurious imports caught by pyflakes

16 years agofuse/impl_{a,b}: improve node-url handling
robk-tahoe [Wed, 24 Sep 2008 18:28:54 +0000 (11:28 -0700)]
fuse/impl_{a,b}: improve node-url handling

specifically change the expectation of the code to be such that the node-url
(self.url) always includes the trailing slash to be a correctly formed url

moreover read the node-url from the 'node.url' file found in the node 'basedir'
and only if that doesn't exist, then fall back to reading the 'webport' file
from therein and assuming localhost.  This then supports the general tahoe
pattern that tools needing only a webapi server can be pointed at a directory
containing the node.url file, which can optionally point to another server,
rather than requiring a complete node dir and locally running node instance.

16 years agofuse/impl_b: tweaks from testing on hardy
robk-tahoe [Wed, 24 Sep 2008 18:07:38 +0000 (11:07 -0700)]
fuse/impl_b: tweaks from testing on hardy

from testing on linux (specifically ubuntu hardy) the libfuse dll has a
different name, specifically libfuse.so.2. this patch tries libfuse.so
and then falls back to trying .2 if the former fails.

it also changes the unmount behaviour, to simply return from the handler's
loop_forever() loop upon being unmounted, rather than raising an EOFError,
since none of the client code I looked at actually handled that exception,
but did seem to expect to fall off of main() when loop_forever() returned.
Additionally, from my testing unmount typically led to an OSError from the
fuse fd read, rather than an empty read, as the code seemed to expect.

also removed a spurious import pyflakes quibbled about.

16 years agosetup: fix site-dirs to find system installed twisted on mac.
robk-tahoe [Wed, 24 Sep 2008 17:42:55 +0000 (10:42 -0700)]
setup: fix site-dirs to find system installed twisted on mac.

zooko helped me unravel a build weirdness today.  somehow the system installed
twisted (/System/Library) was pulling in parts of the other twisted (/Library)
which had been installed by easy_install, and exploding.

getting rid of the latter helped, but it took this change to get the tahoe
build to stop trying to rebuild twisted and instead use the one that was
already installed. c.f. tkt #229

16 years agoCLI: rework webopen, and moreover its tests w.r.t. path handling
robk-tahoe [Wed, 24 Sep 2008 16:45:23 +0000 (09:45 -0700)]
CLI: rework webopen, and moreover its tests w.r.t. path handling

in the recent reconciliation of webopen patches, I wound up adjusting
webopen to 'pass through' the state of the trailing slash on the given
argument to the resultant url passed to the browser.  this change
removes the requirement that arguments must be directories, and allows
webopen to be used with files.  it also broke the tests that assumed
that webopen would always normalise the url to have a trailing slash.

in fixing the tests, I realised that, IMHO, there's something deeply
awry with the way tahoe handles paths; specifically in the combination
of '/' being the name of the root path within an alias, but a leading
slash on paths, e.g. 'alias:/path', is catagorically incorrect. i.e.
 'tahoe:' == 'tahoe:/' == '/'
but 'tahoe:/foo' is an invalid path, and must be 'tahoe:foo'

I wound up making the internals of webopen simply spot a 'path' of
'/' and smash it to '', which 'fixes' webopen to match the behaviour
of tahoe's path handling elsewhere, but that special case sort of
points to the weirdness.

(fwiw, I personally found the fact that the leading / in a path was
disallowed to be weird - I'm just used to seeing paths qualified by
the leading / I guess - so in a debate about normalising path handling
I'd vote to include the /)

16 years agoCLI: reconcile webopen changes
robk-tahoe [Wed, 24 Sep 2008 15:20:02 +0000 (08:20 -0700)]
CLI: reconcile webopen changes

I think this is largely attributable to a cleanup patch I'd made
which never got committed upstream somehow, but at any rate various
conflicting changes to webopen had been made. This cleans up the
conflicts therein, and hopefully brings 'tahoe webopen' in line with
other cli commands.

16 years agocli: cleanup webopen command
robk-tahoe [Wed, 18 Jun 2008 20:19:40 +0000 (13:19 -0700)]
cli: cleanup webopen command

moved the body of webopen out of cli.py into tahoe_webopen.py

made its invocation consistent with the other cli commands, most
notably replacing its 'vdrive path' with the same alias parsing,
allowing usage such as 'tahoe webopen private:Pictures/xti'

16 years agomacapp: changed to remove 'Tahoe' from .app name
robk-tahoe [Wed, 11 Jun 2008 00:31:45 +0000 (17:31 -0700)]
macapp: changed to remove 'Tahoe' from .app name

Change the build product from 'Allmydata Tahoe' to 'Allmydata'
more inkeeping with the branding of the Allmydata product

16 years agoadd --syslog argument to 'tahoe start' and 'tahoe restart', used to pass --syslog...
Brian Warner [Thu, 25 Sep 2008 01:03:02 +0000 (18:03 -0700)]
add --syslog argument to 'tahoe start' and 'tahoe restart', used to pass --syslog to twistd for non-Tahoe nodes (like cpu-watcher)

16 years agomisc/make-canary-files.py: tool to create 'canary files', explained in the docstring
Brian Warner [Thu, 25 Sep 2008 00:47:16 +0000 (17:47 -0700)]
misc/make-canary-files.py: tool to create 'canary files', explained in the docstring

16 years agowebapi: survive slashes in filenames better: make t=info and t=delete to work, and...
Brian Warner [Wed, 24 Sep 2008 20:35:05 +0000 (13:35 -0700)]
webapi: survive slashes in filenames better: make t=info and t=delete to work, and let t=rename fix the problem

16 years agosetup: when detecting platform, ask the Python Standard Library's platform.dist(...
Zooko O'Whielacronx [Wed, 24 Sep 2008 18:09:22 +0000 (11:09 -0700)]
setup: when detecting platform, ask the Python Standard Library's platform.dist() before executing lsb_release, and cache the result in global (module) variables
This should make it sufficiently fast, while still giving a better answer on Ubuntu than platform.dist() currently does, and also falling back to lsb_release if platform.dist() says that it doesn't know.

16 years agonode.py: add BASEDIR/keepalive_timeout and BASEDIR/disconnect_timeout, to set/enable...
Brian Warner [Wed, 24 Sep 2008 17:51:12 +0000 (10:51 -0700)]
node.py: add BASEDIR/keepalive_timeout and BASEDIR/disconnect_timeout, to set/enable the foolscap timers, for #521

16 years agosetup: stop catching EnvironmentError when attempting to copy ./_auto_deps.py to...
Zooko O'Whielacronx [Wed, 24 Sep 2008 00:04:02 +0000 (17:04 -0700)]
setup: stop catching EnvironmentError when attempting to copy ./_auto_deps.py to ./src/allmydata/_auto_deps.py
It is no longer the case that we can run okay without _auto_deps.py being in place in ./src/allmydata, so if that cp fails then the build should fail.

16 years agoimmutable: remove unused imports (thanks, pyflakes)
Zooko O'Whielacronx [Tue, 23 Sep 2008 19:26:10 +0000 (12:26 -0700)]
immutable: remove unused imports (thanks, pyflakes)

16 years agoimmutable: refactor immutable filenodes and comparison thereof
Zooko O'Whielacronx [Tue, 23 Sep 2008 18:52:49 +0000 (11:52 -0700)]
immutable: refactor immutable filenodes and comparison thereof
* the two kinds of immutable filenode now have a common base class
* they store only an instance of their URI, not both an instance and a string
* they delegate comparison to that instance

16 years agosetup: try parsing /etc/lsb-release first, then invoking lsb_release, because the...
Zooko O'Whielacronx [Tue, 23 Sep 2008 17:14:31 +0000 (10:14 -0700)]
setup: try parsing /etc/lsb-release first, then invoking lsb_release, because the latter takes half-a-second on my workstation, which is too long
Also because in some cases the former will work and the latter won't.
This patch also tightens the regexes so it won't match random junk.

16 years agosetup: fix a cut-and-paste error in the fallback to parsing /etc/lsb-release
Zooko O'Whielacronx [Tue, 23 Sep 2008 16:55:51 +0000 (09:55 -0700)]
setup: fix a cut-and-paste error in the fallback to parsing /etc/lsb-release

16 years agosetup: if executing lsb_release doesn't work, fall back to parsing /etc/lsb-release...
Zooko O'Whielacronx [Tue, 23 Sep 2008 16:28:58 +0000 (09:28 -0700)]
setup: if executing lsb_release doesn't work, fall back to parsing /etc/lsb-release before falling back to platform.dist()
An explanatio of why we do it this way is in the docstring.

16 years agosetup: if invoking lsb_release doesn't work (which it doesn't on our etch buildslave...
Zooko O'Whielacronx [Tue, 23 Sep 2008 15:48:20 +0000 (08:48 -0700)]
setup: if invoking lsb_release doesn't work (which it doesn't on our etch buildslave), then fall back to the Python Standard Library's platform.dist() function

16 years agosetup: fix bug in recent patch to use allmydata.get_package_versions() to tell the...
Zooko O'Whielacronx [Tue, 23 Sep 2008 00:13:47 +0000 (17:13 -0700)]
setup: fix bug in recent patch to use allmydata.get_package_versions() to tell the foolscap app-version-tracking what's what

16 years agosetup: when using the foolscap "what versions are here?" feature, use allmydata.get_p...
Zooko O'Whielacronx [Tue, 23 Sep 2008 00:03:51 +0000 (17:03 -0700)]
setup: when using the foolscap "what versions are here?" feature, use allmydata.get_package_versions() instead of specifically importing allmydata, pycryptopp, and zfec

16 years agosetup: simplify the implementation of allmydata.get_package_versions() and add "platf...
Zooko O'Whielacronx [Mon, 22 Sep 2008 23:53:54 +0000 (16:53 -0700)]
setup: simplify the implementation of allmydata.get_package_versions() and add "platform" which is a human-oriented summary of the underlying operating system and machine

16 years agomisc/make_umid: change docs, make elisp code easier to grab
Brian Warner [Sat, 20 Sep 2008 18:39:33 +0000 (11:39 -0700)]
misc/make_umid: change docs, make elisp code easier to grab

16 years agouse foolscap's new app_versions API, require foolscap-0.3.1
Brian Warner [Sat, 20 Sep 2008 18:38:53 +0000 (11:38 -0700)]
use foolscap's new app_versions API, require foolscap-0.3.1

16 years agoBASEDIR/nickname is now UTF-8 encoded
Brian Warner [Sat, 20 Sep 2008 18:37:13 +0000 (11:37 -0700)]
BASEDIR/nickname is now UTF-8 encoded

16 years agovarious: use util.log.err instead of twisted.log.err, so we get both Incidents and...
Brian Warner [Sat, 20 Sep 2008 17:35:45 +0000 (10:35 -0700)]
various: use util.log.err instead of twisted.log.err, so we get both Incidents and trial-test-flunking

16 years agologging.txt: explain how to put log.err at the end of Deferred chains, explain FLOGTO...
Brian Warner [Sat, 20 Sep 2008 17:35:00 +0000 (10:35 -0700)]
logging.txt: explain how to put log.err at the end of Deferred chains, explain FLOGTOTWISTED=1

16 years agoutil.log: send log.err to Twisted too, so that Trial tests are flunked
Brian Warner [Sat, 20 Sep 2008 17:34:27 +0000 (10:34 -0700)]
util.log: send log.err to Twisted too, so that Trial tests are flunked

16 years agosetup.py trial: improve --verbose suggestion a bit
Brian Warner [Fri, 19 Sep 2008 19:39:22 +0000 (12:39 -0700)]
setup.py trial: improve --verbose suggestion a bit

16 years agotest_cli: disable generate-keypair test on OS-X, pycryptopp still has a bug
Brian Warner [Fri, 19 Sep 2008 19:38:55 +0000 (12:38 -0700)]
test_cli: disable generate-keypair test on OS-X, pycryptopp still has a bug

16 years agoNEWS: finish editing for the upcoming 1.3.0 release
Brian Warner [Fri, 19 Sep 2008 19:30:53 +0000 (12:30 -0700)]
NEWS: finish editing for the upcoming 1.3.0 release

16 years agoNEWS: more edits, almost done
Brian Warner [Fri, 19 Sep 2008 01:00:36 +0000 (18:00 -0700)]
NEWS: more edits, almost done

16 years agoNEWS: describe all changes since the last release. Still needs editing.
Brian Warner [Fri, 19 Sep 2008 00:27:55 +0000 (17:27 -0700)]
NEWS: describe all changes since the last release. Still needs editing.

16 years agoCLI: add 'tahoe admin generate-keypair' command
Brian Warner [Fri, 19 Sep 2008 00:11:33 +0000 (17:11 -0700)]
CLI: add 'tahoe admin generate-keypair' command

16 years agoweb: add 'more info' pages for files and directories, move URI/checker-buttons/deep...
Brian Warner [Thu, 18 Sep 2008 05:00:41 +0000 (22:00 -0700)]
web: add 'more info' pages for files and directories, move URI/checker-buttons/deep-size/etc off to them

16 years agosetup.py: remove unused 'Extension' import
Brian Warner [Wed, 17 Sep 2008 23:08:29 +0000 (16:08 -0700)]
setup.py: remove unused 'Extension' import

16 years agosetup.py,Makefile: move the 'chmod +x bin/tahoe' into setup.py
Brian Warner [Wed, 17 Sep 2008 23:07:56 +0000 (16:07 -0700)]
setup.py,Makefile: move the 'chmod +x bin/tahoe' into setup.py

16 years agodocs/install.html: reference InstallDetails instead of debian-specific stuff
Brian Warner [Wed, 17 Sep 2008 22:57:42 +0000 (15:57 -0700)]
docs/install.html: reference InstallDetails instead of debian-specific stuff

16 years agoMakefile,docs: tahoe-deps.tar.gz now lives in separate source/deps/ directory on...
Brian Warner [Wed, 17 Sep 2008 20:44:52 +0000 (13:44 -0700)]
Makefile,docs: tahoe-deps.tar.gz now lives in separate source/deps/ directory on http://allmydata.org

16 years agodocs: mention -SUMO tarballs, point users at release tarballs instead of development...
Brian Warner [Wed, 17 Sep 2008 20:36:31 +0000 (13:36 -0700)]
docs: mention -SUMO tarballs, point users at release tarballs instead of development ones

16 years agosetup.py,Makefile: teat sdist --sumo about tahoe-deps/, use -SUMO suffix on tarballs...
Brian Warner [Wed, 17 Sep 2008 20:01:19 +0000 (13:01 -0700)]
setup.py,Makefile: teat sdist --sumo about tahoe-deps/, use -SUMO suffix on tarballs, add sumo to 'make tarballs' target

16 years ago.darcs-boringfile ignore tahoe-deps and tahoe-deps.tar.gz
Brian Warner [Wed, 17 Sep 2008 19:59:38 +0000 (12:59 -0700)]
.darcs-boringfile ignore tahoe-deps and tahoe-deps.tar.gz

16 years agodocs: add a note about the process of making a new Tahoe release
Zooko O'Whielacronx [Wed, 17 Sep 2008 17:08:39 +0000 (10:08 -0700)]
docs: add a note about the process of making a new Tahoe release

16 years agoMakefile: pyutil from a dependent lib causes a #455-ish problem, the workaround is...
Brian Warner [Wed, 17 Sep 2008 05:36:43 +0000 (22:36 -0700)]
Makefile: pyutil from a dependent lib causes a #455-ish problem, the workaround is to run build-once *three* times

16 years agoMakefile: desert-island: don't re-fetch tahoe-deps.tar.gz if it's already there,...
Brian Warner [Wed, 17 Sep 2008 05:22:04 +0000 (22:22 -0700)]
Makefile: desert-island: don't re-fetch tahoe-deps.tar.gz if it's already there, remove the tahoe-deps/ before untarring directory to avoid unpacking weirdness

16 years agomisc/check-build.py: ignore the 'Downloading file:..' line that occurs for the setup_...
Brian Warner [Wed, 17 Sep 2008 05:17:25 +0000 (22:17 -0700)]
misc/check-build.py: ignore the 'Downloading file:..' line that occurs for the setup_requires= -triggered handling of the setuptools egg

16 years ago#249: add 'test-desert-island', to assert that a tahoe-deps.tar.gz -enabled build...
Brian Warner [Wed, 17 Sep 2008 01:37:02 +0000 (18:37 -0700)]
#249: add 'test-desert-island', to assert that a tahoe-deps.tar.gz -enabled build does not download anything

16 years ago#249: get dependent libs from tahoe-deps and ../tahoe-deps
Brian Warner [Wed, 17 Sep 2008 01:36:27 +0000 (18:36 -0700)]
#249: get dependent libs from tahoe-deps and ../tahoe-deps

16 years ago#249: move dependent libs out of misc/dependencies/, get them from tahoe-deps.tar...
Brian Warner [Wed, 17 Sep 2008 01:25:45 +0000 (18:25 -0700)]
#249: move dependent libs out of misc/dependencies/, get them from tahoe-deps.tar.gz instead

16 years agoconf_wiz.py - updating version numbers in file, should really get these from a TAG...
Peter Secor [Wed, 17 Sep 2008 00:45:47 +0000 (17:45 -0700)]
conf_wiz.py - updating version numbers in file, should really get these from a TAG or conf file

16 years agowebish: add an extra newline to JSON output
Brian Warner [Mon, 15 Sep 2008 20:43:14 +0000 (13:43 -0700)]
webish: add an extra newline to JSON output

16 years agowindows/Makefile: fix dependencies: windows-installer must cause windows-exe to run
Brian Warner [Fri, 12 Sep 2008 05:21:51 +0000 (22:21 -0700)]
windows/Makefile: fix dependencies: windows-installer must cause windows-exe to run

16 years agoMakefile: fix windows issues
Brian Warner [Fri, 12 Sep 2008 05:09:19 +0000 (22:09 -0700)]
Makefile: fix windows issues

16 years agoMakefile: use run_with_pythonpath, move windows targets into a separate Makefile
Brian Warner [Fri, 12 Sep 2008 04:45:08 +0000 (21:45 -0700)]
Makefile: use run_with_pythonpath, move windows targets into a separate Makefile

16 years agosetup.py: add 'setup.py run_with_pythonpath', to run other commands with PYTHONPATH...
Brian Warner [Fri, 12 Sep 2008 04:44:18 +0000 (21:44 -0700)]
setup.py: add 'setup.py run_with_pythonpath', to run other commands with PYTHONPATH set usefully

16 years agoMakefile: convert check-auto-deps target into 'setup.py check_auto_deps'
Brian Warner [Fri, 12 Sep 2008 03:59:04 +0000 (20:59 -0700)]
Makefile: convert check-auto-deps target into 'setup.py check_auto_deps'

16 years agostartstop_node.py: find twistd in our supportlib if we had to build Twisted as a...
Brian Warner [Fri, 12 Sep 2008 02:51:38 +0000 (19:51 -0700)]
startstop_node.py: find twistd in our supportlib if we had to build Twisted as a setuptools dependency. This is a form of cgalvan's #505 patch, simplified because now 'setup.py trial' takes care of sys.path and PYTHONPATH

16 years agorewrite parts of the Makefile in setup.py. Add 'build_tahoe' and 'trial' subcommands.
Brian Warner [Fri, 12 Sep 2008 01:03:21 +0000 (18:03 -0700)]
rewrite parts of the Makefile in setup.py. Add 'build_tahoe' and 'trial' subcommands.

The 'make build' target now runs 'setup.py build_tahoe', which figures out
where the target 'supportlib' directory should go, and invokes 'setup.py
develop' with the appropriate arguments.

The 'make test' target now runs 'setup.py trial', which manages sys.path and
runs trial as a subroutine instead of spawning an external process. This
simplifies the case where Twisted was built as a dependent library (and thus
the 'trial' executable is not on PATH).

setup.py now manages sys.path and PYTHONPATH for its internal subcommands, so
the $(PP) prefix was removed from all Makefile targets that invoke setup.py .
For the remaining ones, the 'setup.py -q show_pythonpath' subcommand was
added to compute this prefix with python rather than with fragile
shell/Makefile syntax.