filetable_new: import py_ecc, make the tests get a little bit further

add __init__ and setup.py glue for py_ecc, so we can import it

make encode_new use py_ecc for real live erasure coding
(This patch is not tested -- I'm working on a Mac which doesn't have gcc
installed...  (gcc is necessary for the crypto module.)  I will now attempt to
connect to a better development computer over my mom's staticy, failure-prone,
14.4 K modem...)

import mathutil from pyutil

import py_ecc, a pure python fec by Emin Martinian, which is under a permissive licence
It is too slow for a real product, but is a quick way to get a working prototype, and also is freely redistributable by us...

encode_new: fix a bug in subshare hashes and tidy-up a couple of things

more filetable_new tests

filetable_new: fix the test

checkpointing new filetable work.. tests don't pass yet

filetable: shuffle lines a bit to appease figleaf's confusion

encode: start to fix a few problems, still a lot of work left to go

make initial simple encode_new test pass

Makefile: fix location of figleaf.excludes

Makefile: allow 'make test TEST=something.else'

Makefile: improve 'clean' target to remove debian/ symlink too

Makefile: add pyflakes target, only covering allmydata code (not pycrypto)

Makefile: add correct generated build/lib.linux-i686-2.4 directory to PYTHONPATH for tests

move all packages into src/, fix allmydata.Crypto build. Now you must perform a 'setup.py build' before using anything, and you must add the build directory (build/lib.linux-i686-2.4) to your PYTHONPATH before doing anything

allmydata.Crypto: fix all internal imports

first cut at creating allmydata.Crypto, starting with python-amycrypto-2.0.1.allmydata2 (with working CTR mode)

record some WIP structure for filetable

figleaf doesn't like the last line of a file to be a comment

start work on new encoder, with merkle trees and subshares and stuff

move debugshell.py into allmydata/

minor change to test buildbot triggering for new repository

figleaf gets confused when the last line of a file is a comment

webish: improve download, now you can just append the vdrive path to the base URL to get at the contents of the file. Also added a download-by-URI box

add a basic read-only webfront test

allow webfront to use a strports port specification

add figleaf-output target

tests: add support for figleaf code-coverage gathering

record our nodeid (for reference) in 'my_nodeid'

debian: change name of debian packages to 'allmydata-tahoe' to avoid conflicts

webish: add queen pburl and connection status to welcome page

fix return value of 'allmydata restart'

fix 'allmydata restart'

fix bin/allmydata argument-parsing

add bin/allmydata to create/stop/start nodes

setup.py: oops, add sub-packages, needed since I went back to distutils

add preliminary debian packaging

add distutils-based packaging

update roadmap with webish UI progress

webish: add mesh stats, peer list. improve distribution of client services within rend_* methods

webish: implement delete (for files only, not directories)

add mkdir to webish interface, switch to new bind_* approach

add 'make directory' button to webish

got read/write webish interface working

implemented upload side of webish

increase the maximum size of ShareData, since currently it is also a limit on uploaded file size

more roadmap updates

clients now get the queen's pburl from a file named roster_pburl, not hardcoded in the .tac file

add a (read-only) web frontend. Put a 'webport' file in your base directory to activate it.

add RIMutableDirectoryNode.get, to get a specific child file or directory

remove a couple of unused methods of buckets

mv amdlib/util/* to allmydata/util/

small tweaks to test_storage.py

update notes about lease deletion logic

add some vdrive logging

more upload unit tests

add download code to vdrive, add system-level test for vdrive functionality, refactor DownloadTargets

unit tests for vdrive

ignore .buildbot options directory

update roadmap more

update roadmap

initial file-table support, VirtualDrive service, rearrange Storage somewhat

manhole: add more keybindings

implement/test download, modify Storage to match

make the system test work

add more logging

encode: delay completion until all our messages have been delivered

client: closures confuse me, late binding bites me yet again

make sure the StorageServer goes underneath the client's basedir

improving system test, still broken, possibly a Foolscap problem

misc upload fixes and improvements

deal with the face that peerids are always binary in tests

avoid race conditions and multiple-notify in the Roster

make logging multiple nodes at once easier to follow

rearrange node startup again, allowing Tub.registerReference to happen in startService rather than in some later turn. Also add a 'local_ip' file with which you can override the published IP address of the node

beginnings of a system test, with 5 nodes and a queen

rearrange client setup, factor out common Node functionality, add Uploader service to client

prototype encoder

rearrange names, add more RemoteInterfaces to make tests pass again

fix pyflakes warnings/errors

standardize on keeping nodeids (and all other SHA1-derived values as binary everywhere, only doing idlib.b2a() when interacting with a human or the filesystem

improve RemoteInterface specifications

add RemoteInterfaces (foolscap schemas). some tests break.

change bucket writer protocol, give Encoder a RemoteReference instead of a file-like object

add the 'Denver Airport' design doc, for Chord-based peer selection

upload: add WriterProxy

split 'Bucket' into separate subclasses for read and write

prevent reading unfinished buckets

implement upload peer selection

allow buckets written by previous runs to be read

added read and cross check to storage unit test, minor cleanups

added storage test

fix another read_attr bug

fix counting of bytes written

fix bug in bucketstore read/write _attr

manhole: ctrl-h is Backspace, not Delete. War Is Peace, Freedom Is Slavery, etc

fix test cases to not use camelCase