tahoe-lafs/tahoe-lafs.git
16 years agosetup: remove bundled setuptools-0.6c8
Zooko O'Whielacronx [Tue, 30 Sep 2008 20:03:36 +0000 (13:03 -0700)]
setup: remove bundled setuptools-0.6c8

16 years agosetup: remove the developer note about doing without GNU make (the GNU make requireme...
Zooko O'Whielacronx [Tue, 21 Oct 2008 16:32:00 +0000 (09:32 -0700)]
setup: remove the developer note about doing without GNU make (the GNU make requirement is about to hurt Peter if he tries to follow this doc, by the way)
add classifiers showing with which versions of Python it is known to work.

16 years ago* fuse/runtests: added --catch-up-pause option
robk-tahoe [Tue, 21 Oct 2008 00:29:02 +0000 (17:29 -0700)]
* fuse/runtests: added --catch-up-pause option

On linux, write tests are failing because data written to fuse isn't showing
up in tahoe by the time it's checked.  it's not clear where this is originating,
since the fuse implementation [should be] waiting for completion of tahoe
operations before returning from its calls.  This adds an option to control the
duration of a pause between the fuse write and the check of tahoe, which is by
default set to 2s on linux, which - somewhat inexplicably - seems to 'fix' the
problem, in as far as it allows tests to complete.

16 years agofuse/runtests: include length in drepr() output
robk-tahoe [Tue, 21 Oct 2008 00:01:59 +0000 (17:01 -0700)]
fuse/runtests: include length in drepr() output

16 years agofuse/runtests: make exceptions in 'read_in_random_order' into TestFailures
robk-tahoe [Mon, 20 Oct 2008 23:52:35 +0000 (16:52 -0700)]
fuse/runtests: make exceptions in 'read_in_random_order' into TestFailures

16 years agofuse/blackmatch: added asynchronous (background) file download
robk-tahoe [Mon, 20 Oct 2008 23:33:33 +0000 (16:33 -0700)]
fuse/blackmatch: added asynchronous (background) file download

previously, upon opening a file for reading, the open() call would block
while the entire file was retrieved from tahoe into the cache directory.
This change adds a DownloaderWithReadQueue class, and associated plumbing,
such that an open() will return promptly with the download initiated 'in
the background'.  Subsequent read() operations will block until enough
data has been downloaded to satisfy that request.  This provides a behaviour
similar to streaming, i.e. the client application will be able to read
data from the fuse interface while the remainder of the file is still being
downloaded.

16 years agofuse/runtests: added 'read_in_random_order' test
robk-tahoe [Mon, 20 Oct 2008 23:24:27 +0000 (16:24 -0700)]
fuse/runtests: added 'read_in_random_order' test

this test uploads a test file to tahoe, and then reads the file from fuse,
but reads the blocks of the file in a random order; this is designed to
exercise the asynchronous download feature of blackmatch - where the file
is downloaded from tahoe asynchronously, and rather than blocking open()
for the entirety of the download, instead individual read() calls are
blocked until enough of the file has been downloaded to satisfy them

16 years agofuse/runtests: added a --no-cleanup option
robk-tahoe [Mon, 20 Oct 2008 15:51:20 +0000 (08:51 -0700)]
fuse/runtests: added a --no-cleanup option

the code had a 'fullcleanup' flag internally which controlled whether
working directories were cleaned up.  this promotes that to a command
line option (negated) '--no-cleanup' defaulting to False, i.e. do cleanup

16 years agofuse/runtests: truncate expected file contents in reported error message
robk-tahoe [Mon, 20 Oct 2008 14:45:23 +0000 (07:45 -0700)]
fuse/runtests: truncate expected file contents in reported error message

this avoids dumping the repr of 1Mb of random data to stdout in the event
of a test failure, but rather just dumps the start/end of the errant strings
if the amount of data is > 200 chars repr'd

16 years agofuse/blackmatch: fix platform specific problems in repr_flags
robk-tahoe [Mon, 20 Oct 2008 14:30:52 +0000 (07:30 -0700)]
fuse/blackmatch: fix platform specific problems in repr_flags

the repr_flags debug/logging function had a list of fields from the os
module that might be passed into an open() call, but it included at
least one which was available on the mac but not on linux. symmetrically
linux has numerous flags which are not present on the mac. the repr_flags
function is now tolerant of flags not being present, and has an expanded
list of flags

16 years agomakefile: added 'fuse-test' target to makefile, to run 'runtests'
robk-tahoe [Sun, 19 Oct 2008 13:25:18 +0000 (06:25 -0700)]
makefile: added 'fuse-test' target to makefile, to run 'runtests'

16 years agofuse/runtests: added a 'todo' flag, surpressing failure for implementations not expec...
robk-tahoe [Sun, 19 Oct 2008 13:16:00 +0000 (06:16 -0700)]
fuse/runtests: added a 'todo' flag, surpressing failure for implementations not expected to pass

since the current tests assume that the implementation responds to changes made
to tahoe after mount, and impl_b prefetches and cached directory data, impl_b
fails the current 'read' test suite.

rather than reflect that problem in the overall failure of the runtests exit
code, this adds a 'todo' flag to the implementations table, and sets the todo
flag for impl_b.  Thus errors will therein be reported in output, but not cause
a failing exit code.

16 years agofuse/runtests: made runtests exit code depend on success
robk-tahoe [Fri, 17 Oct 2008 18:00:58 +0000 (11:00 -0700)]
fuse/runtests: made runtests exit code depend on success

return an exit code of 0 only if no tests failed, and 1 in the case of
linkage error, test setup failure, or individual test case failure

16 years agostorage.py: assert that immutable share size will fit in the 4-byte v1 container...
Brian Warner [Mon, 20 Oct 2008 17:22:08 +0000 (10:22 -0700)]
storage.py: assert that immutable share size will fit in the 4-byte v1 container (see #346). The struct module in py2.4 raises an error on overflow, but py2.5 merely emits a warning

16 years agoNEWS: update to summarize all changes since the last update
Brian Warner [Mon, 20 Oct 2008 16:40:47 +0000 (09:40 -0700)]
NEWS: update to summarize all changes since the last update

16 years agofuse/runtest: make removal of webport file soft
robk-tahoe [Fri, 17 Oct 2008 03:01:54 +0000 (20:01 -0700)]
fuse/runtest: make removal of webport file soft

previously the runtests suite removed the webport file created by
tahoe create-client in all but the first node.  now that the node config
is in tahoe.cfg by default this file might not exist.

16 years agofuse/blackmatch: update json handling to support simplejson v2
robk-tahoe [Fri, 17 Oct 2008 02:59:31 +0000 (19:59 -0700)]
fuse/blackmatch: update json handling to support simplejson v2

simplejson v2 returns strings as either unicode or str, depending upon its
mood.  thus the interpretation of the node's json repr of a directory, and
the serialisation of strings in the json based rpc both exploded when built
against simplejson v2.  this makes both of these places liberal in their
acceptance of either str or unicode.

16 years agofuse/blackmatch: log exception in server startup
robk-tahoe [Fri, 17 Oct 2008 01:46:50 +0000 (18:46 -0700)]
fuse/blackmatch: log exception in server startup

humphf.  my build runs the fuse stuff fine, but the build from the buildslave
doesn't seem to start up properly.  hopefully this will elicit some useful info

16 years agofuse/blackmatch: add readability to some logging, fix a permissions problem
robk-tahoe [Fri, 17 Oct 2008 00:44:21 +0000 (17:44 -0700)]
fuse/blackmatch: add readability to some logging, fix a permissions problem

adds a couple of functions to unpack 'mode' and 'flags' for open() calls, to
facilitate debugging.

adds a fix to ensure that all tmp files created for writing are opened with
permissions 0600 - one problem I had with testing with the Finder was that
files were being opened write only (0200) and were then failing to upload
to tahoe due to internal permission denied errors.

there remain a variety of problems with finder access which I'm unable to
comprehend at this time.  sometimes copies to tahoe will work fine, sometimes
they yield "the finder cannot complete the operation because some data ...
could not be read or written. (Error code -36)" sometimes "You may need to
enter the name and password for an administrator on this computer to change
the item" sometimes "The operation cannot be completed because an item with
the name ... already exists." and sometimes "The operation cannot be completed
because the item ... is locked."  What seems to be absent is rhyme or reason.

unix operations (cp, mv) work fine, rsync works fine.

16 years agofuse/blackmatch: fix linkage problems with daemonize
robk-tahoe [Thu, 16 Oct 2008 16:36:37 +0000 (09:36 -0700)]
fuse/blackmatch: fix linkage problems with daemonize

the daemonize() function imported from twisted was causing problems when
run from a frozen (py2app) build.  I simply copied the daemonize function
into this file, and that fixes the problem.

also removed a couple of lines of debugging spam that slipped through.

16 years agogui/macapp: minor bugfixes
robk-tahoe [Thu, 16 Oct 2008 16:30:52 +0000 (09:30 -0700)]
gui/macapp: minor bugfixes

though it seemed to work before the 'fstype' passed to fuse of 'allmydata' was
today throwing errors that len(fstype) must be at most 7.

fixed a typo in changes to 'mount_filesystem()' args

bumped the delay between mounting a filesystem and 'open'ing it in Finder to
4s, as it seems to take a little longer to mount now the client and server
fuse processes need to coordinate.

16 years agofuse/blackmatch: split into client/server (twisted server)
robk-tahoe [Thu, 16 Oct 2008 15:08:46 +0000 (08:08 -0700)]
fuse/blackmatch: split into client/server (twisted server)

This implements a client/server split for blackmatch, where the client
implements the fuse_main bindings and a simple blocking rpc client mechanism.
The server implements the other half of that rpc mechanism, and contains all
the actual logic for interpreting fuse requests in the context of the on disk
cache and requests to the tahoe node.  The server is based on a twisted reactor.

The rpc mechanism implements a simple method dispatch including marshalling,
using json, of basic inert data types, in a flat namespace (no objects).
The client side is written in a blocking idiom, to interface with the threading
model used by the fuse_main bindings, whereas the server side is written for a
twisted reactor-based environment, intended to facilitate implementing more
sophisticated logic in that paradigm.  The two communicate over a unix domain
socket, allocated within the nodedir.

Command line usage is unchanged; the server is launched automatically by the
client. The server daemonizes itself, to avoid preventing the original parent
process (e.g. 'runtests') from waiting upon the server exiting.

The client keeps open a 'keepalive' connection to the server; upon loss thereof
the server will exit. This addresses the fact that the python-fuse bindings
provide no notification of exit of the client process upon unmount.

The client thus provides a relatively thin 'shim' proxying requests from the
fuse_main bindings across the rpc to the server process, which handles the
logic behind each request.

For the time being, a '--no-split' option is provided to surpress the splitting
into client/server, yielding the prior behaviour.  Once the server logic gets
more complex and more entrenched in a twisted idiom, this might be removed.
The 'runtests' test harness currently tests both modes, as 'impl_c' and
'impl_c_no_split'

16 years agofuse/blackmatch: 'flatten' the fuse api implementation
robk-tahoe [Thu, 16 Oct 2008 14:35:47 +0000 (07:35 -0700)]
fuse/blackmatch: 'flatten' the fuse api implementation

the previous revision of blackmatch used a file_class to delegate all fuse
api operations on files to a specific per-file class, which is an option
given by the python-fuse bindings.

this is a pre-cursor to the 'split' client/server version, which uses a
simple, moreover flat, rpc mechanism to broker access to methods.

16 years agofuse/runtests: disable impl_a/impl_b on mac, as they don't actually work.
robk-tahoe [Thu, 16 Oct 2008 14:32:32 +0000 (07:32 -0700)]
fuse/runtests: disable impl_a/impl_b on mac, as they don't actually work.

16 years agofuse/runtests: added write_partial_overwrite test
robk-tahoe [Thu, 16 Oct 2008 14:29:26 +0000 (07:29 -0700)]
fuse/runtests: added write_partial_overwrite test

this tests opening a file for update, overwriting a small part of it, and
ensuring that the end result constitutes an overwrite of the original file.
This tests, e.g. the implementation doesn' open a 'fresh' file but does in
fact initialise the file to be uploaded with the contents of any extant
file before applying updates

16 years agofuse/runtests: added --tests, renamed --suites
robk-tahoe [Thu, 16 Oct 2008 14:28:36 +0000 (07:28 -0700)]
fuse/runtests: added --tests, renamed --suites

changed the --tests option to be --suites, as it takes a prefix, e.g. 'read'
'write' (or 'all', the default) and runs those suites which are applicable to
each implementation being tested.

added a --tests option, which takes a list of tests, e.g. 'read_file_contents'
'write_overlapping_large_writes' and runs all tests specified without regard
to whether the implementation(s) under test are declared to support them.

this is basically to allow a specific test or two to be run, saving time
during development and debugging by not running the entire suite

16 years agofuse/runtests: added 'random scatter' write test
robk-tahoe [Fri, 3 Oct 2008 23:34:36 +0000 (16:34 -0700)]
fuse/runtests: added 'random scatter' write test

this writes the test file in a randomised order, with randomly sized writes.
also for each 'slice' of the file written, a randomly chosen overlapping
write is also made to the file.  this ensures that the file will be written
in its entirety in a thoroughly random order, with many overlapping writes.

16 years agofuse/runtests: add overlapping write tests
robk-tahoe [Fri, 3 Oct 2008 22:48:33 +0000 (15:48 -0700)]
fuse/runtests: add overlapping write tests

using both small and large blocksizes for writes, write a 1Mb file to fuse
where every write overlaps another.

This serves a useful purpose - in manual testing of blackmatch some time ago
most operations e.g. bulk copies, worked fine, but using rsync caused data
corruption on most files.  it turned out to be that rsync writes in 64K blocks,
but rather than making the last block short, the last block instead overlaps
the preceding (already written) block.  This revealed a problem where cache
files were being opened 'append' rather than 'write' and hence the overlapping
write to the fuse layer caused the overlapping portion of the file to be
duplicated in cache, leading to oversized and corrupt files being uploaded.

16 years agofuse/runtests: remove write small file test, as it's subsumed by the tiny_file test
robk-tahoe [Fri, 3 Oct 2008 22:39:44 +0000 (15:39 -0700)]
fuse/runtests: remove write small file test, as it's subsumed by the tiny_file test

16 years agofuse/runtests: added linear write tests for various block sizes
robk-tahoe [Fri, 3 Oct 2008 22:35:50 +0000 (15:35 -0700)]
fuse/runtests: added linear write tests for various block sizes

unit tests to test writing contiguous blocks linearly through the file,
for a variety of block sizes;  'tiny_file' is an entire file fitting within
a single io block / write operation.  'linear_{small,large}_writes' test
a 1Mb file written with each write operation containing significantly less
or more, respecitvely, data than fuse will pass into the implementation as
a single operation (which on the mac at least is 64Kib)

16 years agofuse/runtests: add a very simple 'write' test
robk-tahoe [Fri, 3 Oct 2008 17:20:44 +0000 (10:20 -0700)]
fuse/runtests: add a very simple 'write' test

this performs a very simple write through the fuse layer and confirms that
the file is stored correctly into the tahoe mesh.  ('simple' in the sense
that the entire file body fits trivially in a single write() operation,
disk block etc)

16 years agofuse/runtests: added a --web-open option
robk-tahoe [Fri, 3 Oct 2008 17:20:26 +0000 (10:20 -0700)]
fuse/runtests: added a --web-open option

similar to the --debug-wait option which causes the test harness to
pause at various stages of the process to facilitate debugging, this
option simplifies that debugging by automatically opening a web browser
to the root dir of that implementation's tests when tests are commenced.

in addition, if --web-open is specfied but --debug-wait is not, the
harness will still pause after running tests but before tearing down
the tahoe grid - this allows all tests to run to completion, but
provide a debugging hook to investigate the end state of the grid's
contents thereafter.

16 years agofuse/impl_a: fix a suspected bug in caching
robk-tahoe [Fri, 3 Oct 2008 17:13:09 +0000 (10:13 -0700)]
fuse/impl_a: fix a suspected bug in caching

from my examination of the tahoe_fuse ('impl_a') code, it looks like
the intention is to cache the file contents in memory while it's open,
since it does in fact do that.  however it looks like it also ignored
that cache entirely, and made an individual tahoe webapi GET request
for each and every read() operation regardless of the relative size of
the read block and the file in question.

this changes that to make read() use the data in memory rather than
fetch the data over again.   if there's something more subtle going
on, please let me know.

16 years agogui/macapp: slew of code cleanup; unmount filesystems on quit
robk-tahoe [Thu, 25 Sep 2008 23:32:35 +0000 (16:32 -0700)]
gui/macapp: slew of code cleanup; unmount filesystems on quit

a handful of code cleanup, renaming and refactoring.  basically consolidating
'application logic' (mount/unmount fs) into the 'MacGuiApp' class (the wx.App)
and cleaning up various scoping things around that.  renamed all references to
'app' to refer more clearly to the 'AppContainer' or to the guiapp.

globally renamed basedir -> nodedir

also made the guiapp keep a note of each filesystem it mounts, and unmount
them upon 'quit' so as to cleanup the user's environment before the tahoe node
vanishes from out underneath the orphaned tahoe fuse processes

16 years agogui/macapp: make submenu of aliases for 'webopen'
robk-tahoe [Thu, 25 Sep 2008 16:39:19 +0000 (09:39 -0700)]
gui/macapp: make submenu of aliases for 'webopen'

this changes the 'open webroot' menu item to be a submenu listing all aliases
defined in ~/.tahoe.  Note that the dock menu does not support submenus, so it
only offers a single 'open webroot' option for the default tahoe: alias.

I had trouble with this at first and concluded that the submenus didn't work,
and made it a distinct 'WebUI' menu in it's own right.  on further inspection,
there are still problems but they seem to be something like once the dock menu
has been used, sometimes the app's main menubar menus will cease to function,
and this happens regardless of whether submenus or plain simple menus are used.
I have no idea what the peoblem is, but it's not submenu specific.

16 years agorepairer: fix flaw in testutil.flip_one_bit() that Brian pointed out
Zooko O'Whielacronx [Thu, 16 Oct 2008 19:48:48 +0000 (12:48 -0700)]
repairer: fix flaw in testutil.flip_one_bit() that Brian pointed out

16 years agomisc/incident-gatherer: add classify_tahoe.py: a foolscap incident-gatherer classific...
Brian Warner [Wed, 15 Oct 2008 22:09:40 +0000 (15:09 -0700)]
misc/incident-gatherer: add classify_tahoe.py: a foolscap incident-gatherer classification plugin

16 years agorepairer: test all different kinds of corruption that can happen to share files on...
Zooko O'Whielacronx [Tue, 14 Oct 2008 23:09:20 +0000 (16:09 -0700)]
repairer: test all different kinds of corruption that can happen to share files on disk

16 years agoutil/time_format.py: accept space separator, add unit tests
Brian Warner [Mon, 13 Oct 2008 22:52:58 +0000 (15:52 -0700)]
util/time_format.py: accept space separator, add unit tests

16 years agotest_storage: use different filenames, poor stupid windows
Brian Warner [Fri, 10 Oct 2008 02:11:39 +0000 (19:11 -0700)]
test_storage: use different filenames, poor stupid windows

16 years agoscripts/debug.py: emit the immutable-share version number, tolerate v2
Brian Warner [Fri, 10 Oct 2008 01:34:22 +0000 (18:34 -0700)]
scripts/debug.py: emit the immutable-share version number, tolerate v2

16 years agostorage.py: improve some precondition() error messages
Brian Warner [Fri, 10 Oct 2008 01:14:25 +0000 (18:14 -0700)]
storage.py: improve some precondition() error messages

16 years agostorage: introduce v2 immutable shares, with 8-byte offsets fields, to remove two...
Brian Warner [Fri, 10 Oct 2008 01:13:27 +0000 (18:13 -0700)]
storage: introduce v2 immutable shares, with 8-byte offsets fields, to remove two of the three size limitations in #346. This code handles v2 shares but does not generate them. We'll make a release with this v2-tolerance, wait a while, then make a second release that actually generates v2 shares, to avoid compatibility problems.

16 years agodebug.py: oops, add missing import for ReadBucketProxy
Brian Warner [Fri, 10 Oct 2008 00:29:22 +0000 (17:29 -0700)]
debug.py: oops, add missing import for ReadBucketProxy

16 years agostorage: split WriteBucketProxy and ReadBucketProxy out into immutable/layout.py...
Brian Warner [Fri, 10 Oct 2008 00:08:00 +0000 (17:08 -0700)]
storage: split WriteBucketProxy and ReadBucketProxy out into immutable/layout.py . No behavioral changes.

16 years agointerfaces: loosen a few max-size constraints which would limit us to a mere 1.09...
Zooko O'Whielacronx [Thu, 9 Oct 2008 19:13:57 +0000 (12:13 -0700)]
interfaces: loosen a few max-size constraints which would limit us to a mere 1.09 TB maximum file size

These constraints were originally intended to protect against attacks on the
storage server protocol layer which exhaust memory in the peer.  However,
defending against that sort of DoS is hard -- probably it isn't completely
achieved -- and it costs development time to think about it, and it sometimes
imposes limits on legitimate users which we don't necessarily want to impose.
So, for now we forget about limiting the amount of RAM that a foolscap peer can
cause you to start using.

16 years agoutil/limiter: add a repr
Brian Warner [Tue, 7 Oct 2008 20:19:45 +0000 (13:19 -0700)]
util/limiter: add a repr

16 years agodirnode.build_manifest: include node.list in the limiter, that's the most important...
Brian Warner [Tue, 7 Oct 2008 20:19:29 +0000 (13:19 -0700)]
dirnode.build_manifest: include node.list in the limiter, that's the most important thing to slow down

16 years agoweb/directory: t=manifest output=html: make the caps into clickable hrefs
Brian Warner [Tue, 7 Oct 2008 20:18:45 +0000 (13:18 -0700)]
web/directory: t=manifest output=html: make the caps into clickable hrefs

16 years agoweb/directory: factor out the get_root function
Brian Warner [Tue, 7 Oct 2008 20:17:42 +0000 (13:17 -0700)]
web/directory: factor out the get_root function

16 years agoweb/directory.py: remove unused imports
Brian Warner [Tue, 7 Oct 2008 19:48:20 +0000 (12:48 -0700)]
web/directory.py: remove unused imports

16 years agotest_web: deep-size is more variable than I thought, so assert less
Brian Warner [Tue, 7 Oct 2008 05:11:47 +0000 (22:11 -0700)]
test_web: deep-size is more variable than I thought, so assert less

16 years agoweb: change t=manifest to return a list of (path,read/writecap) tuples, instead of...
Brian Warner [Tue, 7 Oct 2008 04:36:18 +0000 (21:36 -0700)]
web: change t=manifest to return a list of (path,read/writecap) tuples, instead of a list of verifycaps. Add output=html,text,json.

16 years agoweb: rewrite t=deep-size in terms of deep-stats, update test to match inclusion of...
Brian Warner [Tue, 7 Oct 2008 04:35:39 +0000 (21:35 -0700)]
web: rewrite t=deep-size in terms of deep-stats, update test to match inclusion of directory sizes

16 years agoftpd: hush pyflakes
Brian Warner [Tue, 7 Oct 2008 01:45:13 +0000 (18:45 -0700)]
ftpd: hush pyflakes

16 years agoftpd: make sure we're using a patched/fixed Twisted, to avoid confusion later
Brian Warner [Tue, 7 Oct 2008 01:14:11 +0000 (18:14 -0700)]
ftpd: make sure we're using a patched/fixed Twisted, to avoid confusion later

16 years agoftp: change the twisted hack necessary for async-write-close, to one more agreeable...
Brian Warner [Tue, 7 Oct 2008 01:06:05 +0000 (18:06 -0700)]
ftp: change the twisted hack necessary for async-write-close, to one more agreeable to the twisted-dev folks, add a copy of the necessary patch to docs/ftp.txt

16 years agoftpd: remove debug messages
Brian Warner [Mon, 6 Oct 2008 23:16:20 +0000 (16:16 -0700)]
ftpd: remove debug messages

16 years agoftpd: add native_client.php -based HTTP authentication scheme
Brian Warner [Mon, 6 Oct 2008 23:15:11 +0000 (16:15 -0700)]
ftpd: add native_client.php -based HTTP authentication scheme

16 years agoftpd: add ftp.accounts checker, remove InMemoryPasswordChecker
Brian Warner [Mon, 6 Oct 2008 22:51:24 +0000 (15:51 -0700)]
ftpd: add ftp.accounts checker, remove InMemoryPasswordChecker

16 years agotest_system: add test coverage for immutable download.ConsumerAdapter, remove debug...
Brian Warner [Mon, 6 Oct 2008 22:50:37 +0000 (15:50 -0700)]
test_system: add test coverage for immutable download.ConsumerAdapter, remove debug messages

16 years agoftp server: initial implementation. Still needs unit tests, custom Twisted patches...
Brian Warner [Mon, 6 Oct 2008 19:52:36 +0000 (12:52 -0700)]
ftp server: initial implementation. Still needs unit tests, custom Twisted patches. For #512

16 years agotest_cli.py: remove unused imports
Brian Warner [Tue, 7 Oct 2008 00:42:04 +0000 (17:42 -0700)]
test_cli.py: remove unused imports

16 years agoCLI: remove 'tahoe admin generate-keypair', since the pycryptopp ecdsa API is about...
Brian Warner [Tue, 7 Oct 2008 00:23:20 +0000 (17:23 -0700)]
CLI: remove 'tahoe admin generate-keypair', since the pycryptopp ecdsa API is about to change incompatibly. We'll undo this once pycryptopp is updated

16 years agodocs: update architecture.txt 's section on the vdrive a.k.a. filesystem layer
Zooko O'Whielacronx [Mon, 6 Oct 2008 21:05:00 +0000 (14:05 -0700)]
docs: update architecture.txt 's section on the vdrive a.k.a. filesystem layer
Remove some obsolete parts (correct at the time, now incorrect), change terminology to reflect my preference: s/vdrive/filesystem/ and s/dirnode/directory/, and make a few other small changes.

16 years agodirnode: fix my remarkably-consistent 'metdadata' typo
Brian Warner [Fri, 3 Oct 2008 01:08:45 +0000 (18:08 -0700)]
dirnode: fix my remarkably-consistent 'metdadata' typo

16 years agointerfaces: fix minor typo
Brian Warner [Fri, 3 Oct 2008 00:52:49 +0000 (17:52 -0700)]
interfaces: fix minor typo

16 years agodirnode: add get_child_and_metadata_at_path
Brian Warner [Fri, 3 Oct 2008 00:52:03 +0000 (17:52 -0700)]
dirnode: add get_child_and_metadata_at_path

16 years agostop using 'as' as an identifier: as with 'with', 'as' has become a reserved word...
Brian Warner [Fri, 3 Oct 2008 00:27:49 +0000 (17:27 -0700)]
stop using 'as' as an identifier: as with 'with', 'as' has become a reserved word in python 2.6

16 years agoscripts/admin: split up generate_keypair code so that unit tests can use it more...
Brian Warner [Wed, 1 Oct 2008 23:52:38 +0000 (16:52 -0700)]
scripts/admin: split up generate_keypair code so that unit tests can use it more easily

16 years agodocs: add some notes about things to do for a Tahoe release on pypi, freshmeat, and...
Zooko O'Whielacronx [Wed, 1 Oct 2008 21:07:03 +0000 (14:07 -0700)]
docs: add some notes about things to do for a Tahoe release on pypi, freshmeat, and launchpad

16 years agomisc/cpu-watcher.tac: use writeaside-and-rename for the history.pickle file
Brian Warner [Wed, 1 Oct 2008 00:30:53 +0000 (17:30 -0700)]
misc/cpu-watcher.tac: use writeaside-and-rename for the history.pickle file

16 years agomisc/spacetime: use async polling so we can add a 60-second timeout, add an index...
Brian Warner [Tue, 30 Sep 2008 23:34:48 +0000 (16:34 -0700)]
misc/spacetime: use async polling so we can add a 60-second timeout, add an index to the 'url' Axiom column for 2x speedup

16 years ago#518: replace various BASEDIR/* config files with a single BASEDIR/tahoe.cfg, with...
Brian Warner [Tue, 30 Sep 2008 23:21:49 +0000 (16:21 -0700)]
#518: replace various BASEDIR/* config files with a single BASEDIR/tahoe.cfg, with backwards-compatibility of course

16 years agotolerate simplejson-2.0.0 and newer, which frequently return bytestrings instead...
Brian Warner [Tue, 30 Sep 2008 22:21:06 +0000 (15:21 -0700)]
tolerate simplejson-2.0.0 and newer, which frequently return bytestrings instead of unicode objects. Closes #523

16 years agomunin/tahoe_doomsday: oops, tolerate 'null' in the timeleft results, to unbreak the...
Brian Warner [Tue, 30 Sep 2008 20:20:51 +0000 (13:20 -0700)]
munin/tahoe_doomsday: oops, tolerate 'null' in the timeleft results, to unbreak the 2wk/4wk graphs

16 years agotest_node: improve coverage of advertised_ip_addresses a bit
Brian Warner [Tue, 30 Sep 2008 06:08:16 +0000 (23:08 -0700)]
test_node: improve coverage of advertised_ip_addresses a bit

16 years agotestutil.PollMixin: set default timeout (to 100s), emit a more helpful error when...
Brian Warner [Tue, 30 Sep 2008 05:23:09 +0000 (22:23 -0700)]
testutil.PollMixin: set default timeout (to 100s), emit a more helpful error when the timeout is hit

16 years agorepair: fix test to map from storage index to directory structure properly (thanks...
Zooko O'Whielacronx [Fri, 26 Sep 2008 22:49:13 +0000 (15:49 -0700)]
repair: fix test to map from storage index to directory structure properly (thanks, cygwin buildbot, for being so kloodgey that you won't accept random binary filenames and thus making me notice this bug)

16 years agorepairer: assert that the test code isn't accidentally allowing the repairer code...
Zooko O'Whielacronx [Fri, 26 Sep 2008 22:23:53 +0000 (15:23 -0700)]
repairer: assert that the test code isn't accidentally allowing the repairer code which is being tested to do impossible things

16 years agorepairer: enhance the repairer tests
Zooko O'Whielacronx [Fri, 26 Sep 2008 17:47:19 +0000 (10:47 -0700)]
repairer: enhance the repairer tests
Make sure the file can actually be downloaded afterward, that it used one of the
deleted and then repaired shares to do so, and that it repairs from multiple
deletions at once (without using more than a reasonable amount of calls to
storage server allocate).

16 years agonetstring: add required_trailer= argument
Brian Warner [Fri, 26 Sep 2008 16:57:54 +0000 (09:57 -0700)]
netstring: add required_trailer= argument

16 years agotest_netstring.py: move netstring tests to a separate file
Brian Warner [Fri, 26 Sep 2008 16:55:26 +0000 (09:55 -0700)]
test_netstring.py: move netstring tests to a separate file

16 years agomove netstring() and split_netstring() into a separate util.netstring module
Brian Warner [Fri, 26 Sep 2008 04:38:24 +0000 (21:38 -0700)]
move netstring() and split_netstring() into a separate util.netstring module

16 years agorepairer: remove a test that doesn't apply to the repair-from-corruption case
Zooko O'Whielacronx [Thu, 25 Sep 2008 22:09:54 +0000 (15:09 -0700)]
repairer: remove a test that doesn't apply to the repair-from-corruption case

16 years agorepairer: add a test that repairer fixes corrupted shares (in addition to the test...
Zooko O'Whielacronx [Thu, 25 Sep 2008 22:07:12 +0000 (15:07 -0700)]
repairer: add a test that repairer fixes corrupted shares (in addition to the test that it fixes deleted shares)

16 years agodocs: proposed mutable file crypto design with ECDSA, 96-bit private keys, and semi...
Zooko O'Whielacronx [Thu, 25 Sep 2008 21:34:57 +0000 (14:34 -0700)]
docs: proposed mutable file crypto design with ECDSA, 96-bit private keys, and semi-private keys (from http://allmydata.org/~zooko/lafs.pdf )

16 years agodocs: mutable file crypto design (from http://allmydata.org/~zooko/lafs.pdf )
Zooko O'Whielacronx [Thu, 25 Sep 2008 21:34:33 +0000 (14:34 -0700)]
docs: mutable file crypto design (from http://allmydata.org/~zooko/lafs.pdf )

16 years agorepairer: fix swapped docstrings; thanks Brian
Zooko O'Whielacronx [Thu, 25 Sep 2008 18:24:36 +0000 (11:24 -0700)]
repairer: fix swapped docstrings; thanks Brian

16 years agotrivial: remove unused imports; thanks, pyflakes
Zooko O'Whielacronx [Thu, 25 Sep 2008 18:04:22 +0000 (11:04 -0700)]
trivial: remove unused imports; thanks, pyflakes

16 years agotrivial: remove unused imports -- thanks, pyflakes
Zooko O'Whielacronx [Thu, 25 Sep 2008 17:34:53 +0000 (10:34 -0700)]
trivial: remove unused imports -- thanks, pyflakes

16 years agorepairer: add basic test of repairer, move tests of immutable checker/repairer from...
Zooko O'Whielacronx [Thu, 25 Sep 2008 17:16:53 +0000 (10:16 -0700)]
repairer: add basic test of repairer, move tests of immutable checker/repairer from test_system to test_immutable_checker, remove obsolete test helper code from test_filenode
Hm...  "Checker" ought to be renamed to "CheckerRepairer" or "Repairer" at some point...

16 years agosetup: remove a few minimal unit tests from test_filenode which have been obviated...
Zooko O'Whielacronx [Thu, 25 Sep 2008 16:15:44 +0000 (09:15 -0700)]
setup: remove a few minimal unit tests from test_filenode which have been obviated by much better tests in test_mutable and test_system

16 years agogui/macapp: rough cut of ui tweaks; configurability, auto-mount
robk-tahoe [Thu, 25 Sep 2008 14:12:24 +0000 (07:12 -0700)]
gui/macapp: rough cut of ui tweaks; configurability, auto-mount

chatting with peter, two things the mac gui needed were the ability to mount
the 'allmydata drive' automatically upon launching the app, and open the
Finder to reveal it.  (also a request to hide the debug 'open webroot' stuff)

this (somewhat rough) patch implements all the above as default behaviour

it also contains a quick configuration mechanism for the gui - rather than a
preferences gui, running with a more 'tahoe' styled mechanism, the contents
of a few optional files can modify the default behaviour, specifically file
in ~/.tahoe/gui.conf control behaviour as follows:

auto-mount (bool): if set (the default) then the mac app will, upon launch
automatically mount the 'tahoe:' alias with the display name 'Allmydata'
using a mountpoint of ~/.tahoe/mnt/__auto__

auto-open (bool): if set (the default) then upon mounting a file system
(including the auto-mount if set) finder will be opened to the mountpoint
of the filesystem, which essentially reveals the newly mounted drive in a
Finder window

show-webopen (bool): if set (false by default) then the 'open webroot'
action will be made available in both the dock and file menus of the app

daemon-timout (int): sets the daemon-timeout option passed into tahoe fuse
when a filesystem is mounted. this defaults to 5 min

files of type (int) much, naturally contain a parsable int representation.
files of type (bool) are considered true if their (case-insensitive) contents
are any of ['y', 'yes', 'true', 'on', '1'] and considered false otherwise.

16 years agogui/macapp: improve 'about' box
robk-tahoe [Thu, 25 Sep 2008 13:54:15 +0000 (06:54 -0700)]
gui/macapp: improve 'about' box

adds exactly 1 metric dollop of professionalism to the previously
rather amateurish looking about box.

16 years agofuse/impl_c: UNDO --auto-fsid option
robk-tahoe [Thu, 25 Sep 2008 13:47:30 +0000 (06:47 -0700)]
fuse/impl_c: UNDO --auto-fsid option

rolling back:

Thu Sep 25 14:42:23 BST 2008  robk-tahoe@allmydata.com
  * fuse/impl_c: add --auto-fsid option

  this was inspired by reading the fuse docs and discovering the 'fsid' option
  to fuse_main, and was _intended_ to support a sort of 'stability' to the
  filesystem (specifically derived from the root-uri mounted, whether directly
  or via an alias) to support mac aliases across unmount/remount etc.

  some experimentation shows that that doesn't actually work, and that, at
  least for mac aliases in my testing, they're tied to path-to-mountpoint and
  not to the fsid - which seems to have no bearing.  perhaps the 'local' flag
  is causing weirdness therein.

  at any rate, I'm recording it simply for posterity, in case it turns out to
  be useful after all somewhere down the road.

    M ./contrib/fuse/impl_c/blackmatch.py +13

16 years agofuse/impl_c: add --auto-fsid option
robk-tahoe [Thu, 25 Sep 2008 13:42:23 +0000 (06:42 -0700)]
fuse/impl_c: add --auto-fsid option

this was inspired by reading the fuse docs and discovering the 'fsid' option
to fuse_main, and was _intended_ to support a sort of 'stability' to the
filesystem (specifically derived from the root-uri mounted, whether directly
or via an alias) to support mac aliases across unmount/remount etc.

some experimentation shows that that doesn't actually work, and that, at
least for mac aliases in my testing, they're tied to path-to-mountpoint and
not to the fsid - which seems to have no bearing.  perhaps the 'local' flag
is causing weirdness therein.

at any rate, I'm recording it simply for posterity, in case it turns out to
be useful after all somewhere down the road.

16 years agomanhole: be more tolerant of authorized_keys. files in .tahoe
robk-tahoe [Thu, 25 Sep 2008 03:11:49 +0000 (20:11 -0700)]
manhole: be more tolerant of authorized_keys. files in .tahoe

both peter and I independently tried to do the same thing to eliminate the
authorized_keys file which was causing problems with the broken mac build
(c.f. #522) namely mv authorized_keys.8223{,.bak}  but the node is, ahem,
let's say 'intolerant' of the trailing .bak - rather than disable the
manhole as one might expect, it instead causes the node to explode on
startup.  this patch makes it skip over anything that doesn't pass the
'parse this trailing stuff as an int' test.

16 years agofuse/impl_c: move mac tahoefuse impl out into contrib/fuse
robk-tahoe [Thu, 25 Sep 2008 01:42:14 +0000 (18:42 -0700)]
fuse/impl_c: move mac tahoefuse impl out into contrib/fuse

For a variety of reasons, high amongst them the fact that many people
interested in fuse support for tahoe seem to have missed its existence,
the existing fuse implementation for tahoe, previously 'mac/tahoefuse.py'
has been renamed and moved.

It was suggested that, even though the mac build depends upon it, that
the mac/tahoefuse implementation be moved into contrib/fuse along with
the other fuse implementations.  The fact that it's not as extensively
covered by unit tests as mainline tahoe was given as corroboration.

In a bid to try and stem the confusion inherent in having tahoe_fuse,
tfuse and tahoefuse jumbled together (not necessarily helped by
referring to them as impl_a, b and c respectively) I'm hereby renaming
tahoefuse as 'blackmatch'  (black match is, per wikipedia "a type of
crude fuse" hey, I'm a punny guy)  Maybe one day it'll be promoted to
be 'quickmatch' instead...

Anyway, this patch moves mac/tahoefuse.py out to contrib/fuse/impl_c/
as blackmatch.py, and makes appropriate changes to the mac build process
to transclude blackmatch therein.  this leaves the extant fuse.py and
fuseparts business in mac/ as-is and doesn't attempt to address such
issues in contrib/fuse/impl_c.

it is left as an exercise to the reader (or the reader of a message
to follow) as to how to deal with the 'fuse' python module on the mac.

as of this time, blackmatch should work on both mac and linux, and
passes the four extant tests in runtests.  (fwiw neither impl_a nor
impl_b have I managed to get working on the mac yet)

since blackmatch supports a read-write and caching fuse interface to
tahoe, some write tests obviously need to be added to runtests.

16 years agomacapp: changes to support aliases, updated tahoefuse command line options
robk-tahoe [Thu, 25 Sep 2008 01:01:28 +0000 (18:01 -0700)]
macapp: changes to support aliases, updated tahoefuse command line options

the tahoefuse command line options changed to support the runtests harness,
and as part of that gained support for named aliases via --alias

this changes the mac app's invocation of tahoefuse to match that, and also
changes the gui to present the list of defined aliases as valid mounts

this replaces the previous logic which examined the ~/.tahoe/private directory
looking for files ending in '.cap' - an ad-hoc alias mechanism.

if a file is found matching ~/.tahoe/private/ALIASNAME.icns then that will still
be passed to tahoefuse as the icon to display for that filesystem. if no such
file is found, the allmydata icon will be used by default.

the '-olocal' option is passed to tahoefuse.  this is potentially contentious.
specifically this is telling the OS that this is a 'local' filesystem, which is
intended to be used to locally attached devices.  however leopard (OSX 10.5)
will only display non-local filesystems in the Finder's side bar if they are of
fs types specifically known by Finder to be network file systems (nfs, cifs,
webdav, afp)  hence the -olocal flag is the only way on leopard to cause finder
to display the mounted filesystem in the sidebar, but it displays as a 'device'.
there is a potential (i.e. the fuse docs carry warnings) that this may cause
vague and unspecified undesirable behaviour.
(c.f. http://code.google.com/p/macfuse/wiki/FAQ specifically Q4.3 and Q4.1)