test_filetable: fix to match new vdrive approach

make-version.py invokes darcs as "darcs" instead of "realdarcs"
Some other people might use the official Windows build of darcs, and people who use my cygwin wrapper for darcs will be compatible with this patch as long as they use the latest version of the wrapper.

update CREDITS file

revamp vdrive: nodes with furls. tests still fail.

filetable: switch to new approach with anonymous nodes

make-version.py: it is sys.platform, not os.platform

make make-version.py exec darcs correctly on windows

upload.py: minor refactoring

roadmap.txt: update w.r.t. filetree and repairer

add 'allmydata-tahoe dump-uri-extension' utility command

refactor URI_extension handlers out of encode/download and into uri.py

webish: display program/library versions on the welcome page

shebang usr bin env python

catch EnvironmentError from attempt to invoke darcs using subprocess module

URI-extension.txt: update docs, we aren't using bencode for this.

zfec: import latest version.py module from pyutil library

zfec: fix bug in in-line doc

zfec: tweak licence text

fix the relnotes.txt -- don't incorrectly attribute a compatibility break to foolscap

some edits to the README

TAG allmydata-tahoe-0.3.0

update the relnotes.txt for v0.3

webish: show vdrive and introducer connectedness separately
Also don't offer a link to the vdrive webpages if we don't have a vdrive.furl

rename fileid/verifierid to plaintext_hash/crypttext_hash

thingA.txt has finally been renamed

update thingA/uri-extension docs

handle uri_extension with a non-bencode serialization scheme

rename thingA to 'uri extension'

consolidate multiple definitions of NotEnoughPeersError

remove several leftover defintions of netstring()

test_client.py: improve test coverage a bit

docs/thingA.txt: describe what this does, even if it doesn't yet have a name

move almost all hashing to SHA256, consolidate into hashutil.py

The only SHA-1 hash that remains is used in the permutation of nodeids,
where we need to decide if we care about performance or long-term security.
I suspect that we could use a much weaker hash (and faster) hash for
this purpose. In the long run, we'll be doing thousands of such hashes
for each file uploaded or downloaded (one per known peer).

test_encode.py: even more testing of merkle trees, getting fairly comprehensive now

add tests for bad/inconsistent plaintext/crypttext merkle tree hashes

test_encode.py: further refactoring of send_and_recover

test_encode.py: refactor send_and_recover a bit

client.py: allow operation without vdrive.furl, for storage-only no-UI nodes

client.py: use persistent FURLs for our Node, to reduce spurious connection attempts (#26)

encode.py: hush pyflakes warnings

encode/download: reduce memory footprint by deleting large intermediate buffers as soon as possible, improve hash tree usage

encode.py: fix generation of plaintext/crypttext merkle trees

hashtree.BadHashError: mention which leaf caused the problem

iputil.get_local_ip_for: tolerate running on a disconnected host

fetch plaintext/crypttext merkle trees during download, but don't check the segments against them yet

download.py: refactor get-thingA-from-somebody to reuse the logic for other things

encode.py: fix pyflakes warning

encode: add plaintext/crypttext merkle trees to the shares, and the thingA block. Still needs tests and download-side verification.

runner.py: allow --multiple to enable starting/stopping/creating multiple nodes at once

log a prominent warning message in the case that the introducer cannot be reached

catch failures in startService() and abort process

add a missing up-call in introducer.startService()

change the 'ez_setup.py' script to have distinct desired & minimum required versions of setuptools

and change zfec/setup.py's invocation of ez_setup to require 0.6a9 (which happens to be the default
version installed by apt-get on dapper machines) while leaving the default (desired) version at 0.6c5

encode.py: clean up handling of lost peers during upload, add some logging

runner.py: allow all directory-using commands (create/start/stop) to accept argv[-1] as well as --basedir

bin/allmydata-tahoe: also update PYTHONPATH so that child processes (like twistd) will work

bin/allmydata-tahoe: add a sys.path-modifying preamble to make it easy to run from source

encode: tolerate lost peers, as long as we still get enough shares out. Closes #17.

roadmap.txt: minor cleanups

README: mention strports-ness of NODE/webport, closes #55

move validation data to thingA, URI has storage_index plus thingA hash

This (compatibility-breaking) change moves much of the validation data and
encoding parameters out of the URI and into the so-called "thingA" block
(which will get a better name as soon as we find one we're comfortable with).
The URI retains the "storage_index" (a generalized term for the role that
we're currently using the verifierid for, the unique index for each file
that gets used by storage servers to decide which shares to return), the
decryption key, the needed_shares/total_shares counts (since they affect
peer selection), and the hash of the thingA block.

This shortens the URI and lets us add more kinds of validation data without
growing the URI (like plaintext merkle trees, to enable strong incremental
plaintext validation), at the cost of maybe 150 bytes of alacrity. Each
storage server holds an identical copy of the thingA block.

This is an incompatible change: new messages have been added to the storage
server interface, and the URI format has changed drastically.

node.py: multi-class exception calls need parentheses

download.py: refactor bucket_failed() a bit, add some docs

test_system.py: minor reformatting

node.py: add logging of startup/shutdown, for the cygwin test_system failure

test_system.py: add a log message to help track down the occasional cygwin failure

node.py: log twisted version along with tahoe/foolscap/zfec versions

check_memory: getting closer, now we have memusage numbers for uploads of 10kB and 10MB files

switch from FieldStorage.value to FieldStorage.file
Unfortunately this doesn't make the O(n) memory usage go away.  It might reduce the constants -- I'm not sure.  I look forward to enhancement #54 -- memory usage tests!

amdlib.util: merge in changes to humanreadable.py that were made in pyutil

mark #22 finished in source:roadmap.txt

check_memory.py: finish the failsafe-shutdown code

runner.py: spoke too soon. Really fix #51 this time.

runner.py: expanduser() basedirs, so '~' works. Closes #51.

.darcs-boringfile: ignore the buildbot's source-stampfile

makefile: add a test-clean target

test_node.py: hush pyflakes warnings

node.py: hush pyflakes warnings

makefile: add a test-darcs-boringfile target

test_introducer_and_vdrive: remove the assumption that startService returns a Deferred

test_system.py: check size in web-ui display. closes #37

add in-line doc that Josh wrote as he was trying to understand this code

add unit test for "advertised_ip_addresses" feature and fix bug in that feature uncovered by this unit test

make stopService() defer until startService() completes (fixes a problem with the new not-yet-committed unit test)

fix one last use of "--root" in building which was corrupting the pathnames in .pyc files

node.py: use 'node.pem' for all nodes

Rather than use separate client.pem and introducer.pem files, use 'node.pem'
for all nodes regardless of what type it is. This is slightly cleaner, but
introduces a compatibility. Users who upgrade to this change should do
'mv client.pem node.pem' to avoid generating a new certificate and thus
changing their TubID.

node.py: use Tub's certFile= argument instead of doing it ourselves

rename all "*PBURL*" to "*FURL*"
This breaks backwards compatibility with Tahoe v0.2 -- the first public release of Tahoe.

refactor iputil and make it return addresses in descending order of goodness instead of in a set
Actually of course iputil can't tell exactly how good they are, and a wise user
of iputil will try all of them.  But you can't try all of them simultaneously,
so you might as well try the best ones first.

don't check for existence of portnum file and then try to open it -- instead try to open it and catch exception
This avoids a race condition, also known as time-of-check-to-time-of-use.

don't test for existence of certfile and then try to open it -- instead try to open it and catch exception
This avoids a race condition, also known as time-of-check-to-time-of-use.

fix handling of local_ip file and rename it to advertised_ip_addresses and document it in README

raise constraint on FURLs from 150 chars to 1000 chars

change uri-packer-unpacker to deal with dictionaries, not fragile tuples

update docs, remove extraneous licence text, sort module names in import statement
closes #46 ?

add roadmap element: XML-RPC interface
as per ticket #48
http://allmydata.org/trac/tahoe/ticket/48

don't use --root, instead use --single-version-externally-managed
fixes #35

make-version.py: remove the strip-until-<changelog> workaround

make-version.py: use 'subprocess' module instead of 'commands', to improve windows compatibility

enable private upload, in which the file is inserted at the grid layer but not at the vdrive layer
This patch is actually by Faried Nawaz, as per ticket #33:

http://allmydata.org/trac/tahoe/ticket/33