move validation data to thingA, URI has storage_index plus thingA hash

This (compatibility-breaking) change moves much of the validation data and
encoding parameters out of the URI and into the so-called "thingA" block
(which will get a better name as soon as we find one we're comfortable with).
The URI retains the "storage_index" (a generalized term for the role that
we're currently using the verifierid for, the unique index for each file
that gets used by storage servers to decide which shares to return), the
decryption key, the needed_shares/total_shares counts (since they affect
peer selection), and the hash of the thingA block.

This shortens the URI and lets us add more kinds of validation data without
growing the URI (like plaintext merkle trees, to enable strong incremental
plaintext validation), at the cost of maybe 150 bytes of alacrity. Each
storage server holds an identical copy of the thingA block.

This is an incompatible change: new messages have been added to the storage
server interface, and the URI format has changed drastically.

node.py: multi-class exception calls need parentheses

download.py: refactor bucket_failed() a bit, add some docs

test_system.py: minor reformatting

node.py: add logging of startup/shutdown, for the cygwin test_system failure

test_system.py: add a log message to help track down the occasional cygwin failure

node.py: log twisted version along with tahoe/foolscap/zfec versions

check_memory: getting closer, now we have memusage numbers for uploads of 10kB and 10MB files

switch from FieldStorage.value to FieldStorage.file
Unfortunately this doesn't make the O(n) memory usage go away.  It might reduce the constants -- I'm not sure.  I look forward to enhancement #54 -- memory usage tests!

amdlib.util: merge in changes to humanreadable.py that were made in pyutil

mark #22 finished in source:roadmap.txt

check_memory.py: finish the failsafe-shutdown code

runner.py: spoke too soon. Really fix #51 this time.

runner.py: expanduser() basedirs, so '~' works. Closes #51.

.darcs-boringfile: ignore the buildbot's source-stampfile

makefile: add a test-clean target

test_node.py: hush pyflakes warnings

node.py: hush pyflakes warnings

makefile: add a test-darcs-boringfile target

test_introducer_and_vdrive: remove the assumption that startService returns a Deferred

test_system.py: check size in web-ui display. closes #37

add in-line doc that Josh wrote as he was trying to understand this code

add unit test for "advertised_ip_addresses" feature and fix bug in that feature uncovered by this unit test

make stopService() defer until startService() completes (fixes a problem with the new not-yet-committed unit test)

fix one last use of "--root" in building which was corrupting the pathnames in .pyc files

node.py: use 'node.pem' for all nodes

Rather than use separate client.pem and introducer.pem files, use 'node.pem'
for all nodes regardless of what type it is. This is slightly cleaner, but
introduces a compatibility. Users who upgrade to this change should do
'mv client.pem node.pem' to avoid generating a new certificate and thus
changing their TubID.

node.py: use Tub's certFile= argument instead of doing it ourselves

rename all "*PBURL*" to "*FURL*"
This breaks backwards compatibility with Tahoe v0.2 -- the first public release of Tahoe.

refactor iputil and make it return addresses in descending order of goodness instead of in a set
Actually of course iputil can't tell exactly how good they are, and a wise user
of iputil will try all of them.  But you can't try all of them simultaneously,
so you might as well try the best ones first.

don't check for existence of portnum file and then try to open it -- instead try to open it and catch exception
This avoids a race condition, also known as time-of-check-to-time-of-use.

don't test for existence of certfile and then try to open it -- instead try to open it and catch exception
This avoids a race condition, also known as time-of-check-to-time-of-use.

fix handling of local_ip file and rename it to advertised_ip_addresses and document it in README

raise constraint on FURLs from 150 chars to 1000 chars

change uri-packer-unpacker to deal with dictionaries, not fragile tuples

update docs, remove extraneous licence text, sort module names in import statement
closes #46 ?

add roadmap element: XML-RPC interface
as per ticket #48
http://allmydata.org/trac/tahoe/ticket/48

don't use --root, instead use --single-version-externally-managed
fixes #35

make-version.py: remove the strip-until-<changelog> workaround

make-version.py: use 'subprocess' module instead of 'commands', to improve windows compatibility

enable private upload, in which the file is inserted at the grid layer but not at the vdrive layer
This patch is actually by Faried Nawaz, as per ticket #33:

http://allmydata.org/trac/tahoe/ticket/33

README: mention the additional included libraries (zfec, foolscap, pycrypto)

update to foolscap-0.1.4

make-version.py: accomodate windows by ignoring the junk that appears at the start of 'darcs changes'

update README concerning dependent libraries that the user has to install

UNDO: forget about old peers (closes #26)
Add a new method to RIIntroducer, to allow the central introducer node to
remove peers from the active set after they've gone away. Without this,
client nodes accumulate stale peer FURLs forever. This introduces a
compatibility break, as old introducers won't know about the 'lost_peers'
message, although the errors produced are probably harmless.

forget about old peers (closes #26)
Add a new method to RIIntroducer, to allow the central introducer node to
remove peers from the active set after they've gone away. Without this,
client nodes accumulate stale peer FURLs forever. This introduces a
compatibility break, as old introducers won't know about the 'lost_peers'
message, although the errors produced are probably harmless.

manually merge recent changes to pyutil's copy of "version.py" with allmydata's copy of "version.py"

zfec: disable the feature of leaving unit test tmp dirs lying around for post-mortem analysis
fixes #41 in the allmydata.org trac

http://allmydata.org/trac/tahoe/ticket/41

fix typo in CREDITS file

add CREDITS file where people who contribute source code, docs, web page updates, etc., are recorded

do not include foolscap or zfec coverage in the figleaf reports for the moment: they have their own test suites

display file size in directory.xhtml

test_introducer.py: turn off the defer.setDebugging(True) call that was left over from a troubleshooting session: it slows down the test suite by a factor of 2

add deb-etch target, rearrange make-version a bit, closes #23

add link to ticket #36 -- FUSE integration

add link to ticket #34 -- disk space limits in storage servers

makefile: delete .pycs before running tests, since our build process puts the wrong filenames into them

.darcs-boringfile: ignore some build/ directories for foolscap and zfec

version.py: handle both '0.2.0' and '0.2.0-1', remove 'tags' for now

update version-number handling, pull release tags from darcs history

TAG allmydata-tahoe-0.2.0

tahoe v0.2.0-0-UNSTABLE

bump test timeout even higher
It does indeed take longer than 2400 seconds to run test_upload_and_download on a virtual windows machine when the underlying real machine is heavily loaded down with filesystem analysis runs...

import foolscap-0.1.3

TAG zfec v1.0.0

zfec: v1.0.0

fix small typo in relnotes.txt

small edit to target market

re-re-factored the download and install instructions
Now the instructions about how to download debian packages live on a separate
page of the wiki instead of on the front page or in the README.  The README is
only about building from source.  The front page contains pointers to those two
other pages (the debiandownloadpage and the README).

import new foolscap snapshot, still 0.1.2+ but very close to 0.1.3 . This version is fully compatible with the previous 0.1.2+ snapshot

fix the TESTING THAT IT IS PROPERLY INSTALLED section
My oh-so-useful test subject here skipped that section because he thought it was part of a section that he was finished with.

fix README on how to install The Debian Way

clarify instructions on how to get build dependencies for debian
My test subject here didn't used "locate" to find something named
"debian/control" somewhere on his filesystem...  :-)

move the debian packaging dependencies to the place where they are needed in the README

add warning that "make test" can take a long time

fix error in README about windows builds

two more fixes for README

add another note about where to run "make"

make big distinction between downloading precompiled packages and building yourself
Both of my two test subjects here stumbled on this by thinking that building on debian was related to building debian packages was related to downloading precompiled packages.

tweak README to be more helpful about a small detail

add the apt-get information to the README

makefile: change the 'test' target to exclude foolscap, add 'test-all' to do both

figleaf_htmlizer: when all counts are zero, claim 0% instead of 100%, since it probably means that coverage checking has failed completely

trivial formatting tweak in relnotes.txt

some English usage edits to README, thanks to Stephen Hill

mention ticket #22

v0.2.0b2-0-UNSTABLE

grand unified version numbers
Now the allmydata python package, the setup.py script, and the debian packages all get their tahoe version number from the same place.

edit README

fix debian targets in makefile

improve "the Debian way" build process to produce foolscap .debs

edits to relnotes.txt

transfer any PYTHONPATH environment variable to the environment of the foolscap tests

bump timeout up because it timed out even on my super fast MacBook Pro
Hm.  This probably means that it is never going to finish...

v0.2.0b1-0-UNSTABLE

make separate makefile targets for test-foolscap and test-TEST
So that if you want to run just one test, you can run "make test-TEST TEST=that.one.test" and not get the whole foolscap suite thrown in for the bargain.

fix: don't pass the PYTHONPATH that features the instdir to the invocation of trial for foolscap

foolscap snapshot: bump some unit tests up to very high timeouts because my poor G4 867 MHz PowerBook, which is busy doing video iChat, takes a long time to run these tests

bump some unit tests up to very high timeouts because my poor G4 867 MHz PowerBook, which is busy doing video iChat, takes a long time to run these tests

test_system: increase timeouts to almost 20 minutes: we have buildslaves that take more than 5 minutes to finish these tests.