rearrange encode/upload, add URIs, switch to ReplicatingEncoder

Added metadata to the bucket store, which is used to hold the share number
(but the bucket doesn't know that, it just gets a string).

Modified the codec interfaces a bit.

Try to pass around URIs to/from download/upload instead of verifierids.
URI format is still in flux.

Change the current (primitive) file encoder to use a ReplicatingEncoder
because it provides ICodecEncoder. We will be moving to the (less primitive)
file encoder (currently in allmydata.encode_new) eventually, but for now
this change lets us test out PyRS or zooko's upcoming C-based RS codec in
something larger than a single unit test. This primitive file encoder only
uses a single segment, and has no merkle trees.

Also added allmydata.util.deferredutil for a DeferredList wrapper that
errbacks (but only when all component Deferreds have fired) if there were
any errors, which unfortunately is not a behavior available from the standard
DeferredList.

add simple metadata (a single string) to the storage protocol

change IEncoder to ICodecEncoder, to match the previous change

use the word 'codec' for erasure coding, for now. 'encode' is used for file-level segmentation/hashing

sendOnly: oops, I keep forgetting that you can't really use f.trap in a lambda, because it returns the failure it trapped

test_system.py: exercise queen.Roster._lost_node too

workqueue: more tests

workqueue: more tests, coverage now at 63.4%, yay

workqueue: more improvements, more tests

workqueue: start adding tests

figleaf.el: when converting to the elisp-readable format, use our in-tree version of figleaf rather than one found on the system. Also change the keybinding to toggle annotations to C-cC-a, which is easier to type

figleaf: delete coverage file (.figleaf) before each test run, otherwise I suspect coverage data will accumulate from one test run to the next

rename the new filetable code to 'filetree', since robk astutely pointed out that 'table' is misleading and implies a flat list of files in a single directory

figleaf.el: add some emacs22 comments

Makefile: add a default target to just build the tree

fix pyflakes warning in debugshell, by providing a dummy value for 'app' that will be overwritten when the manhole connection is established

use absolute import of 'allmydata.Crypto' rather than a relative import of just 'Crypto', to make it clear that we're using our own form rather than relying upon the system version

workqueue: fix pyflakes warnings, code is still quite incomplete

debian: give incrementing version numbers to .deb packages, using timestamps

test_encode_share.py: fix some pyflakes warnings

add some (disabled) encoder benchmarking code

change Encoder to use py_ecc, now that it works

disable figleaf tracing during py_ecc, since it takes *forever*, especially on the slow buildslave

encode.py: add some timing comments

only run a single (short) py_ecc test on slave3, since it is so slow the tests timeout

encoding: fix the last py_ecc problem, tests pass now

change encode_new to use IEncoder

fix our use of py_ecc (set log2FieldSize=8 explicitly)

establish IEncoder/IDecoder, create suitable interfaces for both the simple replicating encoder and the py_ecc one, add a (failing) unit test for it

figleaf.el: announce annotation/deannotation

more pyflakes cleanups

fix pyflakes warnings in figleaf

add padding to segments and convert type from string to list of integers before passing to py_ecc
But then I get an error that I don't understand about ECC math...

improve figleaf: fix some line-numbering bugs, add an alphabetically-sorted index HTML page

more figleaf emacs work: enable the minor mode, then type C-cA to toggle annotations

modify figleaf2html to show module names instead of .py filenames, also add a --root argument to restrict coverage to a specific parent directory

move figleaf2html and figleaf_htmlizer.py into our tree, for easier customization

figleaf: move a copy into allmydata.util.figleaf, update Makefile/trial stuff

add some experimental emacs test-coverage-annotation tools, still in development

checkpoint work-in-progress for WorkQueue, a disk-persistent list of work to be done

filetable_new: import py_ecc, make the tests get a little bit further

add __init__ and setup.py glue for py_ecc, so we can import it

make encode_new use py_ecc for real live erasure coding
(This patch is not tested -- I'm working on a Mac which doesn't have gcc
installed...  (gcc is necessary for the crypto module.)  I will now attempt to
connect to a better development computer over my mom's staticy, failure-prone,
14.4 K modem...)

import mathutil from pyutil

import py_ecc, a pure python fec by Emin Martinian, which is under a permissive licence
It is too slow for a real product, but is a quick way to get a working prototype, and also is freely redistributable by us...

encode_new: fix a bug in subshare hashes and tidy-up a couple of things

more filetable_new tests

filetable_new: fix the test

checkpointing new filetable work.. tests don't pass yet

filetable: shuffle lines a bit to appease figleaf's confusion

encode: start to fix a few problems, still a lot of work left to go

make initial simple encode_new test pass

Makefile: fix location of figleaf.excludes

Makefile: allow 'make test TEST=something.else'

Makefile: improve 'clean' target to remove debian/ symlink too

Makefile: add pyflakes target, only covering allmydata code (not pycrypto)

Makefile: add correct generated build/lib.linux-i686-2.4 directory to PYTHONPATH for tests

move all packages into src/, fix allmydata.Crypto build. Now you must perform a 'setup.py build' before using anything, and you must add the build directory (build/lib.linux-i686-2.4) to your PYTHONPATH before doing anything

allmydata.Crypto: fix all internal imports

first cut at creating allmydata.Crypto, starting with python-amycrypto-2.0.1.allmydata2 (with working CTR mode)

record some WIP structure for filetable

figleaf doesn't like the last line of a file to be a comment

start work on new encoder, with merkle trees and subshares and stuff

move debugshell.py into allmydata/

minor change to test buildbot triggering for new repository

figleaf gets confused when the last line of a file is a comment

webish: improve download, now you can just append the vdrive path to the base URL to get at the contents of the file. Also added a download-by-URI box

add a basic read-only webfront test

allow webfront to use a strports port specification

add figleaf-output target

tests: add support for figleaf code-coverage gathering

record our nodeid (for reference) in 'my_nodeid'

debian: change name of debian packages to 'allmydata-tahoe' to avoid conflicts

webish: add queen pburl and connection status to welcome page

fix return value of 'allmydata restart'

fix 'allmydata restart'

fix bin/allmydata argument-parsing

add bin/allmydata to create/stop/start nodes

setup.py: oops, add sub-packages, needed since I went back to distutils

add preliminary debian packaging

add distutils-based packaging

update roadmap with webish UI progress

webish: add mesh stats, peer list. improve distribution of client services within rend_* methods

webish: implement delete (for files only, not directories)

add mkdir to webish interface, switch to new bind_* approach

add 'make directory' button to webish

got read/write webish interface working

implemented upload side of webish

increase the maximum size of ShareData, since currently it is also a limit on uploaded file size

more roadmap updates

clients now get the queen's pburl from a file named roster_pburl, not hardcoded in the .tac file

add a (read-only) web frontend. Put a 'webport' file in your base directory to activate it.

add RIMutableDirectoryNode.get, to get a specific child file or directory

remove a couple of unused methods of buckets

mv amdlib/util/* to allmydata/util/

small tweaks to test_storage.py

update notes about lease deletion logic

add some vdrive logging

more upload unit tests

add download code to vdrive, add system-level test for vdrive functionality, refactor DownloadTargets