setup: use ez_setup.py without a "download delay"

setup: import the latest version of ez_setup.py with my patches

README: refactor README
fixes #163
hopefully fixes #148 -- but somebody else will have to try it (maybe Mike Booker) to find out!

upgrade to foolscap-0.1.7

check_speed: average multiple pings when measuring RTT

debian: oops, set debian/changelog version to 0.6.0-1+, to be less than everything the buildbot is creating

debian: put a version string of '0.6.0+' in the debian changelog

debian/sid: copy rules from feisty, the same can be used for both

debian/feisty: use our original bin/allmydata-tahoe instead of setuptools's
because the setuptools "entry points" form asserts that there are
setuptools-visible packages like nevow/zope.interface (i.e. they have .egg-info
metadata). Until very recently, most debian systems did not install this
metadata. Instead, we rely upon the usual debian dependency checking as
expressed in debian/control .

README: add dependency on OpenSSL

README: edits

setup: don't include zope.interface in our automatically-satisfiable dependencies for now

dump-share: clarify the label on the size of the original file

check_speed: measure RTT, report per-file times as a multiple of RTT

control: add measure_peer_response_time(), to estimate RTT for the mesh

client.py: add the missing remote_get_nodeid() method claimed in interfaces.py

test_system.py minor typo

test_system.py: add coverage for allmydata.control

test_client.py: add TODO to test the hotline-timeout file

check_speed.py: minor comment

client.py: increase hotline timeout, the check_memory test is failing

check_speed.py: use more small-file tests to improve accuracy of per-file time

check_memory: more keepalive-file debug messages

check_memory: put framework log in a stable place, add debug code to figure
out why the keepalive-file isn't doing its job

test_system.py: do one upload, then test debug scripts, then do other uploads

docs/CHK-hashes.svg: preliminary copy of a whiteboard drawing, showing hash relationships in a CHK file

README: update link to test grid on web page

TAG allmydata-tahoe-0.6.0

relnotes.txt: link to the final version of the README for v0.6

relnotes.txt: add Performance section, fix link to foolscap

cli: use port 8123 as the example port number

README: reflow to 80 cols

setup.py use sys.executable instead of hard-coded 'python' to run make-version.py

make-version.py: when _darcs doesn't exist, make the warning less scary-looking

README: use 8123 instead of 8080/8443 as the example port numbers
If people follow the example, I'd like for them to land on an otherwise
little-claimed port number in case we standardize on it in order to facilitate
exchange of URLs.

README: fix/update description of allmydata-tahoe

README: fix bug in which How To Build was omitted from The Running-In-Place Way to install.

README: fix bug in which pywin32 was mentioned as easy_installable

setup: attempt to invoke make-version.py whenever setup.py is evaluated

relnotes.txt: a few final touch-ups for v0.6

startstop_node.py: use SIGINT instead of SIGTERM to stop the node (fixes #143)

README: add notes about how to use easy_install for dependencies

fix test_vdrive (fixes #144)

It turns out that we actually have *two* files in our storage servers at the
time that test_vdrive asserts things about the shares.  I suppose that
test_vdrive happens to pass on all other operating systems because the
filesystem happens to return the right share as the first one in a
"listdir()".  The fix in this patch is slightly kludgey -- allow either share
to pass -- but good enough.

relnotes.txt: line-wrap to 70-chars and a small edit

check_speed: add optional 100MB test, if the 10MB test finished fast enough

node.py: chmod the foolscap private key (node.pem) to 0600, since it's secret

startstop_node.py: fix bug with options passed to restart and enable restart --profile

cli: add --profile flag

startstop_node.py: don't pass config to do_start() and do_stop()

startstop_node.py: find twistd.py in sys.prefix/scripts if there isn't a twistd executable on the path

setup: formatting of dependency-missing errors

roadmap.txt: mark CLI tool as done (although the current version is rudimentary)

a few edits to architecture.txt and related docs

setup: check for the pywin32 dep only on Windows

setup: use the setuptools "console_scripts" feature to get an allmydata-tahoe.exe on Windows

README: update on how to test and how to run tahoe after installation

README: demote The Debian Way

setup: alas, pywin32 doesn't actually work as an easy_install; also make dependency missing errors more useful

README: further clarity about when you need to acquire source and when you don't

README: explain when you need to download source and when you don't

check_memory: touch the hotline file more often, to avoid accidental timeout

Makefile: check-speed: leave the client node stopped when we're done

check_speed: do both upload and download tests

check_speed: upload multiple files, measure Ax+B

Makefile: attempt to workaround problem caused by workaround for backslashes glomming onto the following double-quote. ...

startstop_node.py: remove debug printout which breaks unit tests

setup: leave the "file:" off the front of your URLs and setuptools (v0.6c7) will treat them as not-URLs which means it will prefer them to HTTP: URLs

setup: add zope.interface-3.4.0 in place of zope.interface-3.3.0

startstop_node.py: improve the hack of launching twistd
Thanks to Brian for helping me figure out the cleaner way to do this: take the
first result from which("twistd"), and if it has the extension ".bat" or
".exe" then execute it, else execute python and give it as the first argument.

setup: add pywin32 to our dependencies if sys.platform == "win32"

check_memory: fix race condition for startup of in-process server nodes

Makefile: end PYTHONPATH with "." because the string might end with "\", which will cause shell to later escape whatever character comes after the string

check_memory.py: record initial memory usage (before any connections are made)

add zope.interface-3.3.0.tar.gz to misc/dependencies

replace zfec-1.0.3 with zfec-1.0.4 in misc/dependencies

setup.py: name zope.interface >= 3.0 as one of our dependencies

README: point to new location of wiki/SetuptoolsAndGNUStow

README: explain the new packaging system
Happily, the README is now shorter and simpler.

check_speed.py: run two 1MB uploads and measure the time it takes

started framework for an automated speed-checking tool. Doesn't do much yet.

relnotes.txt: tweak #129 description a bit

Makefile: fix and-vs-or bug in check-deps, hide errmsg in non-failing cases

Makefile: give explicit failure message to user if dependencies aren't found

architecture.txt: a few small edits

relnotes.txt: add ticket #129

test_runner: try harder to work on slow buildslaves and cygwin

Makefile: check-memory: run mode=receive along with everything else

check-memory: add 'receive' mode, for #97 (consumption during share receive

Makefile: check-memory-once: add a convenience target for focussed testing

Makefile: use .built to only require one tahoe-compile pass

introducer.py: add test coverage of _disconnected()

startstop_node.py: improve test coverage a little bit

test_system.py: do a large-file test (1.5MB) to trigger pauseProducing

docs: remove subtree{2,3,4}.svg, since they no longer reflect reality

download.py: use producer/consumer to reduce memory usage, closes #129.
If the DownloadTarget is also an IConsumer, give it control of the brakes
by offering ourselves to target.registerProducer(). When they tell us to
pause, set a flag, which is checked between segment downloads and decodes.
webish.py: make WebDownloadTarget an IConsumer and pass control along to
the http.Request, which already knows how to be an IConsumer.
This reduces the memory footprint of stalled HTTP GETs to a bare minimum,
and thus closes #129.

upload.py: fix signature of NonConvergentUploadMixin.get_encryption_key

check_memory: oops, silly bug make 'upload' push to ourselves, raising the usage

check_memory: add download-GET-slow, to simulate memory usage of a node feeding downloaded data via HTTP GET to a slow client

test_runner: better diagnostics in case test_client fails

check_memory: don't accept shares for download/download-GET test, since that hits bug #97