webapi.txt: add URI-based GET variants

webapi.txt: some editing, and remove the localfile feature and the manifest feature
My motivation to remove these features is as per:

http://allmydata.org/pipermail/tahoe-dev/2007-August/000067.html

However, I haven't heard back from Brian yet, so I'm actually going to put them back in the next patch so that I can compare the two versions of webapi.txt side by side.

webapi.txt: further refactoring and add a section explaining TOCTTOU bugs and how to avoid them by using URIs

webapi.txt: further refactoring and editing to clarify the fact that you don't know whether a thing is a file or a directory before you fetch it

webapi.txt: add "?t=file" flag and reorganize doc to discourage people from thinking that they know before hand the file-or-dir type of the thing that they are naming

fix test_web refactoring so that the WebMixin class isn't a TestCase
Thanks, Brian.

If do_stop attempts to stop a nonexistent process the OSError exception is caught (by errno) and handled tersely.

refactor test_web so that other tests can use the part of test_web that sets up a simple filesystem

introducer: don't log.err() an initial connection failure, since that flunks tests. Use self.log() instead. Also improve test_client.py to always trigger this case, before it was finishing to quickly to always hit the problem.

check_memory.py: include a single 100MB test

munin/tahoe-storagespace.py: use /bin/du instead of our python version, since
it a) is faster and b) will include filesystem overhead that is a real cost.

webapi.txt: update rfc reference

zfec: required version of setuptools is 0.6c6 on cygwin, 0.6a9 on other platforms

zfec: default setuptools version is now 0.6c6

zfec: add benchmark utility

zfec: add to README.txt how to run the unit tests

zfec: fix link to zfec-dev mailing list

zfec: fix README.txt to explain how to use setuptools with GNU stow better
Also remove requirement of setuptools >= v0.6c3.  I *think* that using setuptools in the modern way relieves this requirement, but I haven't tested it on dapper yet.

zfec: clarify licensing requirements (transitive grace period)

zfec: shebang usr bin env python in ez_setup.py

zfec: update doc strings in fileutil

fix iputil so that it doesn't launch dozens of processes when you give it a full path and so that it tries executables in preference order and stops as soon as one gives out a dotted-quad string

in --> across

cleaning grammar

/twistd.log -> /logs/twistd.log

misc/sizes.py: rename "block" to "share" and "subblock" to "block"
This renaming is already in place in all of our other documentation and code, but misc/sizes.py got overlooked.

architecture.txt: small edits

startstop_node now works if the logs directory already exists
Thanks to Arno and Arch for pointing this out.

README: formatting (line-wrapping) of arch_o_median's edits to README

changed README to inslude simplejson in "The Python Way" install

changed MakeFile to install simplejson

edited README "The Python Way" installs to /usr/bin

README: clarify/edit build, install, and test instructions

clarify licence

README: point people to allmydata.org if they are looking for precompiled packages

README: edit to arch_o_median's contribution re: installing the Python way

README: add note about what "darcs get" will do and how to run "darcs pull"

changed README install "Python Way" section

now that the buildslave is moved to a new machine, enable the 50MB test

foolscap: fix .deb-breaking bug (foolscap.lothar.com: #8)

update foolscap to foolscap-0.1.5, the latest release

shebang /usr/bin/env python in ez_setup.py
This makes it so that "./ez_setup.py" works on more platforms.

fix missing import -- this bug was introduced by the recent patch to relax setuptools version requirements

in relnotes.txt, make the safety warnings slightly less scary

and update the reference to the wiki's UseCases page

require setuptools >= 0.6c6 on cygwin, and >= 0.6a9 on other platforms

Earlier I tried 0.6a9 (which comes in .deb format on Dapper) and something
didn't work, so I raised it to 0.6c3.  However, I didn't make a note of what
failed, and so now I'm hoping that what failed was cygwin-specific.  Anyway,
everyone look out for setuptools compatibility problems on the your favorite
platform (and I'll check the buildslaves), and we'll raise the required version
as little as possible and only on the problematic platform.

update Arno's entry in CREDITS

update README to reflect existence of "make install" target

update README to reflect requirement of setuptools 0.6c6

add install target, works at lest on sudo-free cygwin

setuptools upgrade to 0.6c6

refactor test_uri and add a test of the empty file

move nodelogs from BASEDIR/twistd.log* to BASEDIR/logs/twistd.log*, closes #61

test_web.py: oops, fix syntax error caused by removing comments

test_web.py: remove spurious '# YES' lines, now that all the tests pass

vdrive: eventually create public/private dirnodes event if the vdrive server isn't available at start up

interfaces: move signatures into docstrings, to reduce lines of code and improve code-coverage numbers

remove unused imports: hush pyflakes warnings

switch from rfc 3548 base-32 to z-base-32 except for tubids/nodeids

URI: we now derive the storage index from the encryption key

refactor upload/encode, to split encrypt and encode responsibilities

update architecture.txt a little bit

truncate storage index to 128 bits, since it's derived from a 128 bit AES key

small edit of relnotes

update relnotes.txt to reflect NJS's comments

CHK: remove the storage index from the URI, deriving it from the key instead

uri.py: get keys and index from the URI instance

docs/uri.txt: document current URI formats

uri: implement URI-processing classes, IFileURI/IDirnodeURI, use internally

dirnode.build_manifest(): tolerate cycles in the directory graph

upload: finish refactoring, all unit tests pass now

upload: refactor to enable streaming upload. not all tests pass yet

webish: improve test coverage further

webish: improve test coverage of WebDownloadTarget

Makefile/check-memory: put all stats in ./memstats.out

check_memory.py: test POST-based uploads as well as from-disk ones

vdrive.py: log a note when we successfully retrieve the global root directory

introducer.py: minor rearrangement of methods

check_memory.py: fix benign-but-noisy vdrive.furl handling bug

check_memory: update it, write stats to a file, disable 50MB test for now

client.py: add a 'debug_no_storage' option to throw out all share data

client.py: write control.furl in the right place

added unit test to webish's rename function

added unit tests to test various permutations of the rename function, and
some sanity checks on the rename-form function.

also added a guard to prevent '/' in from_/to_name in rename calls.

runner.py: make 'allmydata-tahoe --version' emit version numbers of everything

reduce MAX_SEGMENT_SIZE from 2MB to 1MB, to compensate for the large blocks that 3-of-10 produces

misc/storage-overhead.py: tool to estimate storage-space overhead per filesize

webish: test error cases more thoroughly by looking inside the response text

webish: oops, handle POST without localfile= too

webish.py: disallow slashes in POSTed filenames. Closes #75.

webish.Directory: add a 'text/plain' link for files, to download as plaintext.
This is useful to view (e.g.) .py files that would otherwise be served as
some weird text/x-python that browsers will just want to save to disk.

storage.py: add a test for the next_power_of_k fix I made a few hours ago, basically do an upload with a non-power-of-two number of segments

webish.py: test that _get_or_create_directories fix I made a few hours ago

simplejson: lower our minimum-required-version of setuptools to 0.6a9, since that seems to work, and it's the version that comes with dapper

webish: handle PUTs to direct children of the root

storage.py: turn some assertions into preconditions

storage.py: handle num_segments != power-of-two without an assertion

interfaces: increase ShareSize now that our default k is smaller (hence blocks are bigger)

rename storageserver.py to just storage.py, since it has both server and client sides now

welcome.xhtml: add a link to allmydata.org

encode.py: minor typo

fix dump-uri-extension