update interfaces and docs for codec
It now takes a sequence of buffers instead of a single string for both encode and decode, and it also takes a separate sequence of shareids for decode instead of a sequence of tuples, and it returns a sequence of buffers instead of a single string.

add comment

nicer API -- you don't have to shuffle the shares into place before calling decode_all()
Instead it does that shuffling in C inside fecmodule.

stricter typing -- using unsigned char for indexes into shares

hush pyflakes

filetree: make delete() work

pyfec v0.9

Here is the change history from the first darcs era, in reverse chronological
order:

Mon Jan 22 16:12:56 MST 2007  "Zooko O'Whielacronx <zooko@zooko.com>"
  * move everything into a subdirectory so that I can merge this darcs repo with the tahoe darcs repo

     ./fec -> ./pyfec/fec
     ./setup.py -> ./pyfec/setup.py
    A ./pyfec/

Mon Jan 22 16:10:17 MST 2007  "Zooko O'Whielacronx <zooko@zooko.com>"
  * clean up and minimize fec.c
   * strip out unused code
   * hard-code GF_BITS to 8
   * reindent and reformat curly bracket placement

    M ./fec/fec.c -655 +324
    M ./fec/fec.h -25

Mon Jan 22 14:24:32 MST 2007  "Zooko O'Whielacronx <zooko@zooko.com>"
  * change API to allow a subset of the shares to be produced, and to just pass back pointers to primary shares instead of copying them

    M ./fec/fec.c -24 +40
    M ./fec/fec.h -5 +17
    M ./fec/fecmodule.c -63 +144
    M ./fec/test/test_pyfec.py -16 +25
    M ./setup.py -2 +27

Tue Jan 16 23:01:44 MST 2007  "Zooko O'Whielacronx <zooko@zooko.com>"
  * split encoder from decoder

    M ./fec/fecmodule.c -48 +161
    M ./fec/test/test_pyfec.py -3 +4

Tue Jan 16 14:35:25 MST 2007  "Zooko O'Whielacronx <zooko@zooko.com>"
  * it compiles now!

     ./fec.c -> ./pyfec/fec.c
     ./fec.h -> ./pyfec/fec.h
     ./fecmodule.c -> ./pyfec/fecmodule.c
     ./pyfec -> ./fec
    M ./fec/fec.c -109 +85 r13
    M ./fec/fec.h -3 +2 r13
    M ./fec/fecmodule.c -23 +241 r13
    A ./fec/test/
    A ./fec/test/test_pyfec.py
    A ./pyfec/
    A ./setup.py

Tue Jan  9 10:47:58 MST 2007  zooko@zooko.com
  * start of new fecmodule.c

    A ./fecmodule.c

Mon Jan  1 15:00:04 MST 2007  zooko@zooko.com
  * tidy up error handling

    M ./fec.c -26 +16

Mon Jan  1 14:06:30 MST 2007  zooko@zooko.com
  * remove the on-the-fly encoding option
  We don't currently need it.

    M ./fec.c -68
    M ./fec.h -22

Mon Jan  1 13:53:28 MST 2007  zooko@zooko.com
  * original import from Mnet project

    A ./fec.c
    A ./fec.h

Makefile: add target to count lines of code and TODOs

filetree: change the way addpath works, now we add workqueue steps for all involved subtrees at about the same time, rather than letting one step add the next when it runs. Finally add a (passing) test for uploading files to CHK-based directories

filetree: add vdrive upload/download test, change workqueue relative-filename semantics

queen.sendOnly: ignore DeadReferenceError too

move IWorkQueue into allmydata.interfaces, give VirtualDrive an uploader

move upload/download interfaces to allmydata.interfaces, let SubTreeMaker assert IDownloader-ness of its 'downloader' argument

test_filetree: more vdrive._get_file_uri() coverage

filetree: mark leaf nodes by adding is_leaf_subtree(), stop traversing when we hit them, to make vdrive._get_file_uri() work

filetree: test NoSuchDirectoryError in vdrive.list()

more filetree, workqueue-boxes now hold serialized Nodes, move NodeMaker out to a separate module

filetree: start testing IVirtualDrive, beginning with list()

filetree: put SubTreeMaker and NodeMaker in separate classes

more filetree work, more tests now pass

more filetree, it's actually starting to make sense now

filetable: oops, os.listdir() does not guarantee sorted results

filetree: more tests, still very early

filetree: refactor INode serialization, start on tests

more filetree hacking, still too early to test

checkpont more filetree stuff

snapshot filetree work: fix pyflakes complaints

snapshot filetree work: it's getting close

rename bin/allmydata to bin/allmydata-tahoe, so the package can co-exist with the regular (amdlib) package

download.py: fix IDownloader to take a URI

update roadmap

filetree.interfaces: remove not-really-code to improve coverage stats

figleaf.el: add code to auto-enable the annotation mode for all source files

improve test coverage a bit

webish: present real URI in directory listing, not an unnecessarily b2a'ed form

split filetree_new.py up into smaller pieces, in a new subpackage

hush pyflakes warnings

update URI format, include codec name

Makefile: use absolute paths when setting PYTHONPATH

webish: add PBURL to the all-peers table on the welcome page

encode_new.py: recent Foolscap accepts 'None' as a constraint

webish: more verifierid-to-uri transition

vdrive/webish: finish verifierid/uri transition

upload: fix typo in debug messages

upload: rearrange peer-selection code to be more readable, and fix a silly bug

oops, fix that NotEnoughPeersError instrumentation

add better error reporting to NotEnoughPeersError

change upload to push 2 shares instead of 3
Now that peers can talk to themselves, the 5-node system test won't fail
just because one of the shares was hosted on the downloader (and thus
inaccessible until recently). The 3-share push was there to avoid this
problem.

now that foolscap-0.0.7 accepts connect-to-self, allow peers to know about themselves. We now require foolscap-0.0.7

hush pyflakes warnings

rearrange encode/upload, add URIs, switch to ReplicatingEncoder

Added metadata to the bucket store, which is used to hold the share number
(but the bucket doesn't know that, it just gets a string).

Modified the codec interfaces a bit.

Try to pass around URIs to/from download/upload instead of verifierids.
URI format is still in flux.

Change the current (primitive) file encoder to use a ReplicatingEncoder
because it provides ICodecEncoder. We will be moving to the (less primitive)
file encoder (currently in allmydata.encode_new) eventually, but for now
this change lets us test out PyRS or zooko's upcoming C-based RS codec in
something larger than a single unit test. This primitive file encoder only
uses a single segment, and has no merkle trees.

Also added allmydata.util.deferredutil for a DeferredList wrapper that
errbacks (but only when all component Deferreds have fired) if there were
any errors, which unfortunately is not a behavior available from the standard
DeferredList.

add simple metadata (a single string) to the storage protocol

change IEncoder to ICodecEncoder, to match the previous change

use the word 'codec' for erasure coding, for now. 'encode' is used for file-level segmentation/hashing

sendOnly: oops, I keep forgetting that you can't really use f.trap in a lambda, because it returns the failure it trapped

test_system.py: exercise queen.Roster._lost_node too

workqueue: more tests

workqueue: more tests, coverage now at 63.4%, yay

workqueue: more improvements, more tests

workqueue: start adding tests

figleaf.el: when converting to the elisp-readable format, use our in-tree version of figleaf rather than one found on the system. Also change the keybinding to toggle annotations to C-cC-a, which is easier to type

figleaf: delete coverage file (.figleaf) before each test run, otherwise I suspect coverage data will accumulate from one test run to the next

rename the new filetable code to 'filetree', since robk astutely pointed out that 'table' is misleading and implies a flat list of files in a single directory

figleaf.el: add some emacs22 comments

Makefile: add a default target to just build the tree

fix pyflakes warning in debugshell, by providing a dummy value for 'app' that will be overwritten when the manhole connection is established

use absolute import of 'allmydata.Crypto' rather than a relative import of just 'Crypto', to make it clear that we're using our own form rather than relying upon the system version

workqueue: fix pyflakes warnings, code is still quite incomplete

debian: give incrementing version numbers to .deb packages, using timestamps

test_encode_share.py: fix some pyflakes warnings

add some (disabled) encoder benchmarking code

change Encoder to use py_ecc, now that it works

disable figleaf tracing during py_ecc, since it takes *forever*, especially on the slow buildslave

encode.py: add some timing comments

only run a single (short) py_ecc test on slave3, since it is so slow the tests timeout

encoding: fix the last py_ecc problem, tests pass now

change encode_new to use IEncoder

fix our use of py_ecc (set log2FieldSize=8 explicitly)

establish IEncoder/IDecoder, create suitable interfaces for both the simple replicating encoder and the py_ecc one, add a (failing) unit test for it

figleaf.el: announce annotation/deannotation

more pyflakes cleanups

fix pyflakes warnings in figleaf

add padding to segments and convert type from string to list of integers before passing to py_ecc
But then I get an error that I don't understand about ECC math...

improve figleaf: fix some line-numbering bugs, add an alphabetically-sorted index HTML page

more figleaf emacs work: enable the minor mode, then type C-cA to toggle annotations

modify figleaf2html to show module names instead of .py filenames, also add a --root argument to restrict coverage to a specific parent directory

move figleaf2html and figleaf_htmlizer.py into our tree, for easier customization

figleaf: move a copy into allmydata.util.figleaf, update Makefile/trial stuff

add some experimental emacs test-coverage-annotation tools, still in development

checkpoint work-in-progress for WorkQueue, a disk-persistent list of work to be done

filetable_new: import py_ecc, make the tests get a little bit further

add __init__ and setup.py glue for py_ecc, so we can import it

make encode_new use py_ecc for real live erasure coding
(This patch is not tested -- I'm working on a Mac which doesn't have gcc
installed...  (gcc is necessary for the crypto module.)  I will now attempt to
connect to a better development computer over my mom's staticy, failure-prone,
14.4 K modem...)

import mathutil from pyutil

import py_ecc, a pure python fec by Emin Martinian, which is under a permissive licence
It is too slow for a real product, but is a quick way to get a working prototype, and also is freely redistributable by us...

encode_new: fix a bug in subshare hashes and tidy-up a couple of things

more filetable_new tests

filetable_new: fix the test

checkpointing new filetable work.. tests don't pass yet

filetable: shuffle lines a bit to appease figleaf's confusion