fix test_vdrive (fixes #144)

It turns out that we actually have *two* files in our storage servers at the
time that test_vdrive asserts things about the shares.  I suppose that
test_vdrive happens to pass on all other operating systems because the
filesystem happens to return the right share as the first one in a
"listdir()".  The fix in this patch is slightly kludgey -- allow either share
to pass -- but good enough.

relnotes.txt: line-wrap to 70-chars and a small edit

check_speed: add optional 100MB test, if the 10MB test finished fast enough

node.py: chmod the foolscap private key (node.pem) to 0600, since it's secret

startstop_node.py: fix bug with options passed to restart and enable restart --profile

cli: add --profile flag

startstop_node.py: don't pass config to do_start() and do_stop()

startstop_node.py: find twistd.py in sys.prefix/scripts if there isn't a twistd executable on the path

setup: formatting of dependency-missing errors

roadmap.txt: mark CLI tool as done (although the current version is rudimentary)

a few edits to architecture.txt and related docs

setup: check for the pywin32 dep only on Windows

setup: use the setuptools "console_scripts" feature to get an allmydata-tahoe.exe on Windows

README: update on how to test and how to run tahoe after installation

README: demote The Debian Way

setup: alas, pywin32 doesn't actually work as an easy_install; also make dependency missing errors more useful

README: further clarity about when you need to acquire source and when you don't

README: explain when you need to download source and when you don't

check_memory: touch the hotline file more often, to avoid accidental timeout

Makefile: check-speed: leave the client node stopped when we're done

check_speed: do both upload and download tests

check_speed: upload multiple files, measure Ax+B

Makefile: attempt to workaround problem caused by workaround for backslashes glomming onto the following double-quote. ...

startstop_node.py: remove debug printout which breaks unit tests

setup: leave the "file:" off the front of your URLs and setuptools (v0.6c7) will treat them as not-URLs which means it will prefer them to HTTP: URLs

setup: add zope.interface-3.4.0 in place of zope.interface-3.3.0

startstop_node.py: improve the hack of launching twistd
Thanks to Brian for helping me figure out the cleaner way to do this: take the
first result from which("twistd"), and if it has the extension ".bat" or
".exe" then execute it, else execute python and give it as the first argument.

setup: add pywin32 to our dependencies if sys.platform == "win32"

check_memory: fix race condition for startup of in-process server nodes

Makefile: end PYTHONPATH with "." because the string might end with "\", which will cause shell to later escape whatever character comes after the string

check_memory.py: record initial memory usage (before any connections are made)

add zope.interface-3.3.0.tar.gz to misc/dependencies

replace zfec-1.0.3 with zfec-1.0.4 in misc/dependencies

setup.py: name zope.interface >= 3.0 as one of our dependencies

README: point to new location of wiki/SetuptoolsAndGNUStow

README: explain the new packaging system
Happily, the README is now shorter and simpler.

check_speed.py: run two 1MB uploads and measure the time it takes

started framework for an automated speed-checking tool. Doesn't do much yet.

relnotes.txt: tweak #129 description a bit

Makefile: fix and-vs-or bug in check-deps, hide errmsg in non-failing cases

Makefile: give explicit failure message to user if dependencies aren't found

architecture.txt: a few small edits

relnotes.txt: add ticket #129

test_runner: try harder to work on slow buildslaves and cygwin

Makefile: check-memory: run mode=receive along with everything else

check-memory: add 'receive' mode, for #97 (consumption during share receive

Makefile: check-memory-once: add a convenience target for focussed testing

Makefile: use .built to only require one tahoe-compile pass

introducer.py: add test coverage of _disconnected()

startstop_node.py: improve test coverage a little bit

test_system.py: do a large-file test (1.5MB) to trigger pauseProducing

docs: remove subtree{2,3,4}.svg, since they no longer reflect reality

download.py: use producer/consumer to reduce memory usage, closes #129.
If the DownloadTarget is also an IConsumer, give it control of the brakes
by offering ourselves to target.registerProducer(). When they tell us to
pause, set a flag, which is checked between segment downloads and decodes.
webish.py: make WebDownloadTarget an IConsumer and pass control along to
the http.Request, which already knows how to be an IConsumer.
This reduces the memory footprint of stalled HTTP GETs to a bare minimum,
and thus closes #129.

upload.py: fix signature of NonConvergentUploadMixin.get_encryption_key

check_memory: oops, silly bug make 'upload' push to ourselves, raising the usage

check_memory: add download-GET-slow, to simulate memory usage of a node feeding downloaded data via HTTP GET to a slow client

test_runner: better diagnostics in case test_client fails

check_memory: don't accept shares for download/download-GET test, since that hits bug #97

check_memory: add download, download-GET

test_runner.py: fix race conditions in start/stop node, should run on cygwin now

relnotes.txt: correct description of leases

relnotes.txt: update for v0.6 (not complete)

CREDITS: nejucomo

architecture.txt: update to include tahoe2, dirnodes, leases

test_runner.py: skip the start/stop test when sys.platform is win32/cygwin.
The previous twisted.python.runtime.platformType approach didn't catch cygwin
for some reason.

test_runner.py: add tests for startstop_node.py

startstop_node.py: use SIGINT instead of SIGTERM, to allow the node a chance to clean up

webish: improve test coverage

debug: remove the 'dump-share-leases' command, it is subsumed by 'dump-share'

provisioning.py: get full test coverage

Makefile: figleaf2el.py needs PYTHONPATH to get allmydata.util

uri.py: improve test coverage a bit

storage: fill alreadygot= with all known shares for the given storageindex, not just the ones they asked about

bin/allmydata-tahoe: fix handling of PYTHONPATH, we were missing an os.pathsep
which would cause a pre-existing PYTHONPATH to get mangled

upload: make peer-selection a bit more uniform. Closes #132.

peer-selection: if we must loop, send a minimal number of queries (by asking for more than one share per peer on the second pass)

boringfile: ignore .checked-deps

upload: remove Tahoe3 peer-selection algorithm

upload: switch to Tahoe2, add test for uniform share allocation

upload.py: implement Tahoe2 peer-selection algorithm

vdrive.py: oops, forgot an import

Makefile: don't re-check dependencies on each test run, and fix clean target

vdrive: log an error if we weren't able to use the vdrive the way we wanted to

hush some pyflakes warnings

setup.py: factor out dependency stuff, add workaround for nevow-0.6.0-on-dapper problem

storage: remove the leftover incoming/XYZ/ directory when we're done with it

README: nevow is now automatically handled by build-deps/install

include the Nevow-0.9.18 tarball in our distribution

setup.py: add Nevow to our dependency list

setup.py: minor reformatting, use explicit file: URLs in dependency-links

build-deps-setup.py: provide dependency_links too

Makefile: clean: remove _trial_temp/ and _test_memory/ too

Makefile: check_memory.py now manages the combined stats.out itself

check_memory.py: preserve client.log and stats.out in _test_memory/
Put the nodes in _test_memory/test/, which is clobbered on each test. Also
kill the client with SIGINT instead of SIGKILL. Also don't daemonize the
client, since we're going to kill it at the end of the test anyways: this
cleans up shutdown a bit.

webish: upload: when the localdir= doesn't exist, say so in the HTTP response

check_memory.py: have all clients write their logs to _test_memory/client.log instead of a separate file per client

Makefile: insert a linebreak after use of PP, since it is long and obscures the real command

check_memory: oops, only bail if the process ended abnormally

Makefile: use absolute path to src/ in PP, since check-memory needs it (it chdirs then imports allmydata)

check-memory: if the child process fails to start, shut down instead of hanging forever