more #85 work, system test still fails

storage: use one file per share instead of 7 (#85). work-in-progress, tests still fail

control.py: make get_memory_usage() callable from elsewhere

add a 'rename' button to the webish dir view

alongside the 'del' button is now presented a 'rename' button, which takes
the user to a new page, the 't=rename-form' page, which asks ther user for
the new name of the child and ultimately submits a POST request to the dir
for 't=rename' to perform the actual rename i.e. an attach followed by a
delete of children.

fix bug in arg handling around 'delete' button in directory view

the code composing the form providing the 'delete' button in a dir
view was broken in that it tried to put some of the arguments into
the url query, rather than as the form's post args.  worse, nevow
was kind enough to escape the querystring making it invalid.

fix a typo in webapi.txt

include the filename on URI-link urls for files

this is likely to induce browsers to do more useful things with the result
than they would when given neither content-type nor filename.  (i.e. they
can guess that a .jpg file is an image, even with a bogus content type)

added notes on pywin32 version support to README

webish.DirnodeWalkerMixin: comment out the code that demonstrates what we
would do if we could just use generators, since we don't use it.

misc/figleaf.excludes: exclude simplejson too, since we don't run their tests

note that setting k=1 is equivalent to replication

fix several methods to handle LIT URIs correctly, rather than assuming that all filenodes are CHK URIs

make it possible to download LIT uris. oops.

allow the introducer to set default encoding parameters. Closes #84.
By writing something like "25 75 100" into a file named 'encoding_parameters'
in the central Introducer's base directory, all clients which use that
introducer will be advised to use 25-out-of-100 encoding for files (i.e.
100 shares will be produced, 25 are required to reconstruct, and the upload
process will be happy if it can find homes for at least 75 shares). The
default values are "3 7 10". For small meshes, the defaults are probably
good, but for larger ones it may be appropriate to increase the number of
shares.

implement URI:LIT, which stores small (<55B) files inside the URI itself. Fixes #81.

interfaces.py: increase RIVirtualDriveServer.list constraint from 100 entries to 1000, for now

cease producing .debs for dapper, since they'd depend upon a library (simplejson) that isn't packaged for dapper. Feisty++ are fine. Dapper users are encouraged to build from source.

debian: make all .debs dependent upon python-simplejson. We must create the dapper package, the others are available upstream

Makefile: factor out deb-foolscap-ARCH to a separate target

Makefile: make it clear that it requires GNU Make

rename GNUmakefile to Makefile: I've mis-typed the name one too many times

boringfile: exclude some foolscap.deb-generated files

makefile: fix deb-edgy-head and deb-etch-head targets

makefile: refactor .deb-producing rules

cli: implement 'get'

tahoe_ls: remove a couple of vestigial or debugging bits

cli: implement 'allmydata-tahoe ls'

makefile: use --single-version-externally-managed for simplejson

startstop_node.py: refactor find_twistd() out so it is only run when you need to start a node

runner.py: further refactoring

runner.py: start to refactor into separate files

tahoe-ls.py: hush a pyflakes warning

patch simplejson's ezsetup to take a min_version, and patch setup.py to use it, to allow installs on edgy machines with setuptools-0.6c3

finish removing simplejson.egg-info from the repo

remove simplejson.egg-info from the repo (and boringfile it), it should never have been in the original tarball

import simplejson directly, and remove our local copies of the component .py files from util/json*

tahoe-ls.py: initial version of an 'ls' CLI utility

boringfile: add simplejson generated files

makefile: build simplejson along with zfec/foolscap/etc

import simplejson-1.7.1 into src/simplejson

webapi: normalized API: use t=upload or t=download when providing localdir= or localfile=

import the decoder portion of simplejson-1.7.1 too

webapi.txt: note that the 'curl' utility can be used to exercise most of this interface

webish: cosmetic: fix missing whitespace in HTML

tahoe-get.py: fix bug: actually respect the optional server argument

tahoe-get.py: add optional target-local-file argument

tahoe-get.py: accept vdrive and server options (using optparse)

tahoe-get.py: the first, most primitive command-line client

storage: wrap buckets in a local proxy
This will make it easier to change RIBucketWriter in the future to reduce the wire
protocol to just open/write(offset,data)/close, and do all the structuring on the
client end. The ultimate goal is to store each bucket in a single file, to reduce
the considerable filesystem-quantization/inode overhead on the storage servers.

directory.xhtml: oops, missed a comma

directory.xhtml: remove the leftover XML link

web: indent the JSON to make it easier for humans to read, but slightly larger

web: use real JSON instead of the fake stubs
Also include the encoder portion of Bob Ippolito's simplejson-1.7.1 as
allmydata.util.json_encoder . simplejson is distributed under a more liberal
license than Tahoe (looks to be modified BSD), so redistributing it should be ok.

test_web.test_welcome: give the rooturl a trailing slash, otherwise older versions of twisted complain

figleaf.excludes: ignore allmydata.Crypto, since so little of it gets used by allmydata.test

web: remove t=XML, and other dead code

web: improve test coverage

web: make sure we present read-only directories properly

web: remove more dead code

webish.py: remove dead code

web: /uri/ must escape slashes, we use bangs for this

web: replace welcome-page download-URI form with new version

web: survive bogus URIs when displaying sizes

web: show the root name of the vdrive

web: change title to say 'Tahoe', not tahoe2

web: add a 'return to welcome page' link

web: add when_done to all POST operations, use it from upload/mkdir/mount/delete forms

web: make 'delete' buttons work again

web: change per-directory forms to match new POST scheme

web: remove debug prints

web: more test work, now all tests pass, POST too, only XMLRPC left to implement

test_system.py: change/remove the tests that currently fail due to web changes

webish.py: add links to JSON/etc representations of directory contents to the listing

runner.py: add --force flag to restart, to restart a not-already-running node

webish: fix ?t=manifest, ?t=xml so they don't throw exceptions, prune directory.xhtml

web: more test work, now all tests either pass or are skipped (POST, XMLRPC, and URI/)

webapi: checkpointing more test progress

checkpointing new webapi: not all tests pass yet

web: missed a IndexError-to-KeyError conversion

web: use KeyError (rather than IndexError) to signal a missing child

interfaces: remove spurious 'self' from interface declarations

add IDirectoryNode.get_child_at_path

webapi updates

update .darcs-boringfile to match the debian-moves-to-misc/ change

move debian files down into misc/

munin plugins: fix labels

add some munin plugins

add webapi.txt: explain our plans for the node's webserver

roadmap: move Storage to milestone v3

storageserver: include metadata in the sizelimit, at least after the bucket has been closed

activate storage size limits in the client. Closes #34.

To use this, write a number like 10MB or 5Gb or 5000000000 to a file
named 'sizelimit' in the client's base directory. The node will not grant
leases for shares that would take it much beyond this many bytes of
storage. Note that metadata is not included in the allocation count until
a restart, so the actual space consumed may grow beyond the limit if
the node is not restarted very frequently and the amount of metadata is
significant.

storageserver: implement size limits. No code to enable them yet, though

fileutil: add du() function

webish: provide a valid Content-Length header on downloads

webish: improve reporting of web download errors that occur early enough

If the error occurs before any data has been sent, we can give a sensible
error message (code 500, stack trace, etc). This will cover most of the error
cases. The ones that aren't covered are when we run out of good peers after
successfully decoding the first segment, either because they go away or
because their shares are corrupt.

webish.py: handle errors during download better. Addresses #65.

Previously, exceptions during a web download caused a hang rather than some
kind of exception or error message. This patch improves the situation by
terminating the HTTP download rather than letting it hang forever. The
behavior still isn't ideal, however, because the error can occur too late to
abort the HTTP request cleanly (i.e. with an error code). In fact, the
Content-Type header and response code have already been set by the time any
download errors have been detected, so the browser is committed to displaying
an image or whatever (thus any error message we put into the stream is
unlikely to be displayed in a meaningful way).

dirnodes.txt: minor edits

test_util: improve test coverage of allmydata.util.fileutil

document our current directory node (dirnode) design

makefile: pass COVERAGEDIR= properly to the target makefile