workqueue: more improvements, more tests

workqueue: start adding tests

figleaf.el: when converting to the elisp-readable format, use our in-tree version of figleaf rather than one found on the system. Also change the keybinding to toggle annotations to C-cC-a, which is easier to type

figleaf: delete coverage file (.figleaf) before each test run, otherwise I suspect coverage data will accumulate from one test run to the next

rename the new filetable code to 'filetree', since robk astutely pointed out that 'table' is misleading and implies a flat list of files in a single directory

figleaf.el: add some emacs22 comments

Makefile: add a default target to just build the tree

fix pyflakes warning in debugshell, by providing a dummy value for 'app' that will be overwritten when the manhole connection is established

use absolute import of 'allmydata.Crypto' rather than a relative import of just 'Crypto', to make it clear that we're using our own form rather than relying upon the system version

workqueue: fix pyflakes warnings, code is still quite incomplete

debian: give incrementing version numbers to .deb packages, using timestamps

test_encode_share.py: fix some pyflakes warnings

add some (disabled) encoder benchmarking code

change Encoder to use py_ecc, now that it works

disable figleaf tracing during py_ecc, since it takes *forever*, especially on the slow buildslave

encode.py: add some timing comments

only run a single (short) py_ecc test on slave3, since it is so slow the tests timeout

encoding: fix the last py_ecc problem, tests pass now

change encode_new to use IEncoder

fix our use of py_ecc (set log2FieldSize=8 explicitly)

establish IEncoder/IDecoder, create suitable interfaces for both the simple replicating encoder and the py_ecc one, add a (failing) unit test for it

figleaf.el: announce annotation/deannotation

more pyflakes cleanups

fix pyflakes warnings in figleaf

add padding to segments and convert type from string to list of integers before passing to py_ecc
But then I get an error that I don't understand about ECC math...

improve figleaf: fix some line-numbering bugs, add an alphabetically-sorted index HTML page

more figleaf emacs work: enable the minor mode, then type C-cA to toggle annotations

modify figleaf2html to show module names instead of .py filenames, also add a --root argument to restrict coverage to a specific parent directory

move figleaf2html and figleaf_htmlizer.py into our tree, for easier customization

figleaf: move a copy into allmydata.util.figleaf, update Makefile/trial stuff

add some experimental emacs test-coverage-annotation tools, still in development

checkpoint work-in-progress for WorkQueue, a disk-persistent list of work to be done

filetable_new: import py_ecc, make the tests get a little bit further

add __init__ and setup.py glue for py_ecc, so we can import it

make encode_new use py_ecc for real live erasure coding
(This patch is not tested -- I'm working on a Mac which doesn't have gcc
installed...  (gcc is necessary for the crypto module.)  I will now attempt to
connect to a better development computer over my mom's staticy, failure-prone,
14.4 K modem...)

import mathutil from pyutil

import py_ecc, a pure python fec by Emin Martinian, which is under a permissive licence
It is too slow for a real product, but is a quick way to get a working prototype, and also is freely redistributable by us...

encode_new: fix a bug in subshare hashes and tidy-up a couple of things

more filetable_new tests

filetable_new: fix the test

checkpointing new filetable work.. tests don't pass yet

filetable: shuffle lines a bit to appease figleaf's confusion

encode: start to fix a few problems, still a lot of work left to go

make initial simple encode_new test pass

Makefile: fix location of figleaf.excludes

Makefile: allow 'make test TEST=something.else'

Makefile: improve 'clean' target to remove debian/ symlink too

Makefile: add pyflakes target, only covering allmydata code (not pycrypto)

Makefile: add correct generated build/lib.linux-i686-2.4 directory to PYTHONPATH for tests

move all packages into src/, fix allmydata.Crypto build. Now you must perform a 'setup.py build' before using anything, and you must add the build directory (build/lib.linux-i686-2.4) to your PYTHONPATH before doing anything

allmydata.Crypto: fix all internal imports

first cut at creating allmydata.Crypto, starting with python-amycrypto-2.0.1.allmydata2 (with working CTR mode)

record some WIP structure for filetable

figleaf doesn't like the last line of a file to be a comment

start work on new encoder, with merkle trees and subshares and stuff

move debugshell.py into allmydata/

minor change to test buildbot triggering for new repository

figleaf gets confused when the last line of a file is a comment

webish: improve download, now you can just append the vdrive path to the base URL to get at the contents of the file. Also added a download-by-URI box

add a basic read-only webfront test

allow webfront to use a strports port specification

add figleaf-output target

tests: add support for figleaf code-coverage gathering

record our nodeid (for reference) in 'my_nodeid'

debian: change name of debian packages to 'allmydata-tahoe' to avoid conflicts

webish: add queen pburl and connection status to welcome page

fix return value of 'allmydata restart'

fix 'allmydata restart'

fix bin/allmydata argument-parsing

add bin/allmydata to create/stop/start nodes

setup.py: oops, add sub-packages, needed since I went back to distutils

add preliminary debian packaging

add distutils-based packaging

update roadmap with webish UI progress

webish: add mesh stats, peer list. improve distribution of client services within rend_* methods

webish: implement delete (for files only, not directories)

add mkdir to webish interface, switch to new bind_* approach

add 'make directory' button to webish

got read/write webish interface working

implemented upload side of webish

increase the maximum size of ShareData, since currently it is also a limit on uploaded file size

more roadmap updates

clients now get the queen's pburl from a file named roster_pburl, not hardcoded in the .tac file

add a (read-only) web frontend. Put a 'webport' file in your base directory to activate it.

add RIMutableDirectoryNode.get, to get a specific child file or directory

remove a couple of unused methods of buckets

mv amdlib/util/* to allmydata/util/

small tweaks to test_storage.py

update notes about lease deletion logic

add some vdrive logging

more upload unit tests

add download code to vdrive, add system-level test for vdrive functionality, refactor DownloadTargets

unit tests for vdrive

ignore .buildbot options directory

update roadmap more

update roadmap

initial file-table support, VirtualDrive service, rearrange Storage somewhat

manhole: add more keybindings

implement/test download, modify Storage to match

make the system test work