vdrive: protect dirnode contents with an HMAC

remove old filetree code

vdrive: switch to URI:DIR and URI:DIR-RO, providing transitive readonlyness

misc/count_dirs.py: dev tool to estimate filetree space consumption

webish: log dirname in mkdir

webish: when mounting a shared directory, don't automatically move to it

webish: add option to export/import shared directories (always read-write)

test_system.py: match change to /global_vdrive URL

create a personal (non-shared) vdrive, in addition to the global shared one

webish: enable deletion of directories

webish.py: put the URI in a narrower auto-scrolling box (with CSS)

runner.py: add 'dump-directory-node' command

make new vdrive work, implement convenience wrapper, passes all tests

test_filetable: fix to match new vdrive approach

make-version.py invokes darcs as "darcs" instead of "realdarcs"
Some other people might use the official Windows build of darcs, and people who use my cygwin wrapper for darcs will be compatible with this patch as long as they use the latest version of the wrapper.

update CREDITS file

revamp vdrive: nodes with furls. tests still fail.

filetable: switch to new approach with anonymous nodes

make-version.py: it is sys.platform, not os.platform

make make-version.py exec darcs correctly on windows

upload.py: minor refactoring

roadmap.txt: update w.r.t. filetree and repairer

add 'allmydata-tahoe dump-uri-extension' utility command

refactor URI_extension handlers out of encode/download and into uri.py

webish: display program/library versions on the welcome page

shebang usr bin env python

catch EnvironmentError from attempt to invoke darcs using subprocess module

URI-extension.txt: update docs, we aren't using bencode for this.

zfec: import latest version.py module from pyutil library

zfec: fix bug in in-line doc

zfec: tweak licence text

fix the relnotes.txt -- don't incorrectly attribute a compatibility break to foolscap

some edits to the README

TAG allmydata-tahoe-0.3.0

update the relnotes.txt for v0.3

webish: show vdrive and introducer connectedness separately
Also don't offer a link to the vdrive webpages if we don't have a vdrive.furl

rename fileid/verifierid to plaintext_hash/crypttext_hash

thingA.txt has finally been renamed

update thingA/uri-extension docs

handle uri_extension with a non-bencode serialization scheme

rename thingA to 'uri extension'

consolidate multiple definitions of NotEnoughPeersError

remove several leftover defintions of netstring()

test_client.py: improve test coverage a bit

docs/thingA.txt: describe what this does, even if it doesn't yet have a name

move almost all hashing to SHA256, consolidate into hashutil.py

The only SHA-1 hash that remains is used in the permutation of nodeids,
where we need to decide if we care about performance or long-term security.
I suspect that we could use a much weaker hash (and faster) hash for
this purpose. In the long run, we'll be doing thousands of such hashes
for each file uploaded or downloaded (one per known peer).

test_encode.py: even more testing of merkle trees, getting fairly comprehensive now

add tests for bad/inconsistent plaintext/crypttext merkle tree hashes

test_encode.py: further refactoring of send_and_recover

test_encode.py: refactor send_and_recover a bit

client.py: allow operation without vdrive.furl, for storage-only no-UI nodes

client.py: use persistent FURLs for our Node, to reduce spurious connection attempts (#26)

encode.py: hush pyflakes warnings

encode/download: reduce memory footprint by deleting large intermediate buffers as soon as possible, improve hash tree usage

encode.py: fix generation of plaintext/crypttext merkle trees

hashtree.BadHashError: mention which leaf caused the problem

iputil.get_local_ip_for: tolerate running on a disconnected host

fetch plaintext/crypttext merkle trees during download, but don't check the segments against them yet

download.py: refactor get-thingA-from-somebody to reuse the logic for other things

encode.py: fix pyflakes warning

encode: add plaintext/crypttext merkle trees to the shares, and the thingA block. Still needs tests and download-side verification.

runner.py: allow --multiple to enable starting/stopping/creating multiple nodes at once

log a prominent warning message in the case that the introducer cannot be reached

catch failures in startService() and abort process

add a missing up-call in introducer.startService()

change the 'ez_setup.py' script to have distinct desired & minimum required versions of setuptools

and change zfec/setup.py's invocation of ez_setup to require 0.6a9 (which happens to be the default
version installed by apt-get on dapper machines) while leaving the default (desired) version at 0.6c5

encode.py: clean up handling of lost peers during upload, add some logging

runner.py: allow all directory-using commands (create/start/stop) to accept argv[-1] as well as --basedir

bin/allmydata-tahoe: also update PYTHONPATH so that child processes (like twistd) will work

bin/allmydata-tahoe: add a sys.path-modifying preamble to make it easy to run from source

encode: tolerate lost peers, as long as we still get enough shares out. Closes #17.

roadmap.txt: minor cleanups

README: mention strports-ness of NODE/webport, closes #55

move validation data to thingA, URI has storage_index plus thingA hash

This (compatibility-breaking) change moves much of the validation data and
encoding parameters out of the URI and into the so-called "thingA" block
(which will get a better name as soon as we find one we're comfortable with).
The URI retains the "storage_index" (a generalized term for the role that
we're currently using the verifierid for, the unique index for each file
that gets used by storage servers to decide which shares to return), the
decryption key, the needed_shares/total_shares counts (since they affect
peer selection), and the hash of the thingA block.

This shortens the URI and lets us add more kinds of validation data without
growing the URI (like plaintext merkle trees, to enable strong incremental
plaintext validation), at the cost of maybe 150 bytes of alacrity. Each
storage server holds an identical copy of the thingA block.

This is an incompatible change: new messages have been added to the storage
server interface, and the URI format has changed drastically.

node.py: multi-class exception calls need parentheses

download.py: refactor bucket_failed() a bit, add some docs

test_system.py: minor reformatting

node.py: add logging of startup/shutdown, for the cygwin test_system failure

test_system.py: add a log message to help track down the occasional cygwin failure

node.py: log twisted version along with tahoe/foolscap/zfec versions

check_memory: getting closer, now we have memusage numbers for uploads of 10kB and 10MB files

switch from FieldStorage.value to FieldStorage.file
Unfortunately this doesn't make the O(n) memory usage go away.  It might reduce the constants -- I'm not sure.  I look forward to enhancement #54 -- memory usage tests!

amdlib.util: merge in changes to humanreadable.py that were made in pyutil

mark #22 finished in source:roadmap.txt

check_memory.py: finish the failsafe-shutdown code

runner.py: spoke too soon. Really fix #51 this time.

runner.py: expanduser() basedirs, so '~' works. Closes #51.

.darcs-boringfile: ignore the buildbot's source-stampfile

makefile: add a test-clean target

test_node.py: hush pyflakes warnings

node.py: hush pyflakes warnings

makefile: add a test-darcs-boringfile target

test_introducer_and_vdrive: remove the assumption that startService returns a Deferred

test_system.py: check size in web-ui display. closes #37

add in-line doc that Josh wrote as he was trying to understand this code

add unit test for "advertised_ip_addresses" feature and fix bug in that feature uncovered by this unit test

make stopService() defer until startService() completes (fixes a problem with the new not-yet-committed unit test)

fix one last use of "--root" in building which was corrupting the pathnames in .pyc files

node.py: use 'node.pem' for all nodes

Rather than use separate client.pem and introducer.pem files, use 'node.pem'
for all nodes regardless of what type it is. This is slightly cleaner, but
introduces a compatibility. Users who upgrade to this change should do
'mv client.pem node.pem' to avoid generating a new certificate and thus
changing their TubID.

node.py: use Tub's certFile= argument instead of doing it ourselves