pyfec: licensing tweak

Makefile: $(PWD) doesn't always work, in particular the buildslaves don't
update environment variables like $(PWD) when the launch commands.

Makefile: parameterize 'trial' and 'python' to enable a python2.5 builder

Makefile: count-lines: ignore build/* files, also add total number of .py files

add new build/instdir directories to the boringfile

rename Crypto to allmydata.Crypto
This kind of makes me think that there is a general principle that things
shouldn't know their own names.  After all, a name is what *other* people use
to refer to you.  And in the general case, some other people might refer to you
in ways incompatible with the ways that other people refer to you.

cleanup new "instdir" on "make clean"

pyfec: make it compatible with Python 2.4 as well as Python 2.5

pyfec: silence compiler warnings, add -Wall to debugmode compilation

change build system to use subpackages pristinely and ask them to install themselves into an "instdir"

pyfec: update performance measurements

pyfec: merge conflict

pyfec: fix docstring

pyfec: fix preconditions, tighten internal C types, fix bugs in the file-encoding and benchmarking utility functions

pyfec: documentation and licensing

pyfec: COPYING

pyfec: add fec/__init__.py to import all the right names into the fec module namespace

pyfec: delete m-k of the tempfiles at random in the benchmark of the to/from files

pyfec: execute tests on import of test_pyfec.py only if it is the __main__

pyfec: weaken preconditions -- you can have up to 256 shares, and you don't have to pad the individual shares except to make them all the same length

pyfec: move benchmark code from test_pyfec.py into the new bench_pyfec.py and add more benchmark code

pyfec: add utility functions to encode into a bunch of temp files and to decode from a bunch of tempfiles

pyfec: trivial formatting tweak

pyfec: remove (optimize) unused code

pyfec: make README.txt much more detailed and rename some internal variables and add some docstrings

rename the C extension from "fec" to "_fec"

fix some of the filetree/workqueue interface definitions

pyfec: add precondition checks on the values of k and m to constructors

pyfec: trivial formatting

add README.txt

pyfec: improve package metadata

add copyright notices, license, attributions

add dummy function to see how fast we can read in a file and invoke a Python function on each segment

add benchmark

fix tests to not require pyutil and other tweaks

add utility method file_fec

use buffers as generic "read" buffers instead of char buffers
This is a typing kludge -- if your buffers have elements of size > 1 then we will be processing only a subset of the elements and treating each byte of the element as a separate entry.
Oh well.

allow any sequence as input, not just List

add warning of subtle gotcha that can happen with mutable data buffers

download: update all users to match Zooko's change to ICodecDecoder.decode (as it now returns a list instead of a single string)

update interfaces and docs for codec
It now takes a sequence of buffers instead of a single string for both encode and decode, and it also takes a separate sequence of shareids for decode instead of a sequence of tuples, and it returns a sequence of buffers instead of a single string.

add comment

nicer API -- you don't have to shuffle the shares into place before calling decode_all()
Instead it does that shuffling in C inside fecmodule.

stricter typing -- using unsigned char for indexes into shares

hush pyflakes

filetree: make delete() work

pyfec v0.9

Here is the change history from the first darcs era, in reverse chronological
order:

Mon Jan 22 16:12:56 MST 2007  "Zooko O'Whielacronx <zooko@zooko.com>"
  * move everything into a subdirectory so that I can merge this darcs repo with the tahoe darcs repo

     ./fec -> ./pyfec/fec
     ./setup.py -> ./pyfec/setup.py
    A ./pyfec/

Mon Jan 22 16:10:17 MST 2007  "Zooko O'Whielacronx <zooko@zooko.com>"
  * clean up and minimize fec.c
   * strip out unused code
   * hard-code GF_BITS to 8
   * reindent and reformat curly bracket placement

    M ./fec/fec.c -655 +324
    M ./fec/fec.h -25

Mon Jan 22 14:24:32 MST 2007  "Zooko O'Whielacronx <zooko@zooko.com>"
  * change API to allow a subset of the shares to be produced, and to just pass back pointers to primary shares instead of copying them

    M ./fec/fec.c -24 +40
    M ./fec/fec.h -5 +17
    M ./fec/fecmodule.c -63 +144
    M ./fec/test/test_pyfec.py -16 +25
    M ./setup.py -2 +27

Tue Jan 16 23:01:44 MST 2007  "Zooko O'Whielacronx <zooko@zooko.com>"
  * split encoder from decoder

    M ./fec/fecmodule.c -48 +161
    M ./fec/test/test_pyfec.py -3 +4

Tue Jan 16 14:35:25 MST 2007  "Zooko O'Whielacronx <zooko@zooko.com>"
  * it compiles now!

     ./fec.c -> ./pyfec/fec.c
     ./fec.h -> ./pyfec/fec.h
     ./fecmodule.c -> ./pyfec/fecmodule.c
     ./pyfec -> ./fec
    M ./fec/fec.c -109 +85 r13
    M ./fec/fec.h -3 +2 r13
    M ./fec/fecmodule.c -23 +241 r13
    A ./fec/test/
    A ./fec/test/test_pyfec.py
    A ./pyfec/
    A ./setup.py

Tue Jan  9 10:47:58 MST 2007  zooko@zooko.com
  * start of new fecmodule.c

    A ./fecmodule.c

Mon Jan  1 15:00:04 MST 2007  zooko@zooko.com
  * tidy up error handling

    M ./fec.c -26 +16

Mon Jan  1 14:06:30 MST 2007  zooko@zooko.com
  * remove the on-the-fly encoding option
  We don't currently need it.

    M ./fec.c -68
    M ./fec.h -22

Mon Jan  1 13:53:28 MST 2007  zooko@zooko.com
  * original import from Mnet project

    A ./fec.c
    A ./fec.h

Makefile: add target to count lines of code and TODOs

filetree: change the way addpath works, now we add workqueue steps for all involved subtrees at about the same time, rather than letting one step add the next when it runs. Finally add a (passing) test for uploading files to CHK-based directories

filetree: add vdrive upload/download test, change workqueue relative-filename semantics

queen.sendOnly: ignore DeadReferenceError too

move IWorkQueue into allmydata.interfaces, give VirtualDrive an uploader

move upload/download interfaces to allmydata.interfaces, let SubTreeMaker assert IDownloader-ness of its 'downloader' argument

test_filetree: more vdrive._get_file_uri() coverage

filetree: mark leaf nodes by adding is_leaf_subtree(), stop traversing when we hit them, to make vdrive._get_file_uri() work

filetree: test NoSuchDirectoryError in vdrive.list()

more filetree, workqueue-boxes now hold serialized Nodes, move NodeMaker out to a separate module

filetree: start testing IVirtualDrive, beginning with list()

filetree: put SubTreeMaker and NodeMaker in separate classes

more filetree work, more tests now pass

more filetree, it's actually starting to make sense now

filetable: oops, os.listdir() does not guarantee sorted results

filetree: more tests, still very early

filetree: refactor INode serialization, start on tests

more filetree hacking, still too early to test

checkpont more filetree stuff

snapshot filetree work: fix pyflakes complaints

snapshot filetree work: it's getting close

rename bin/allmydata to bin/allmydata-tahoe, so the package can co-exist with the regular (amdlib) package

download.py: fix IDownloader to take a URI

update roadmap

filetree.interfaces: remove not-really-code to improve coverage stats

figleaf.el: add code to auto-enable the annotation mode for all source files

improve test coverage a bit

webish: present real URI in directory listing, not an unnecessarily b2a'ed form

split filetree_new.py up into smaller pieces, in a new subpackage

hush pyflakes warnings

update URI format, include codec name

Makefile: use absolute paths when setting PYTHONPATH

webish: add PBURL to the all-peers table on the welcome page

encode_new.py: recent Foolscap accepts 'None' as a constraint

webish: more verifierid-to-uri transition

vdrive/webish: finish verifierid/uri transition

upload: fix typo in debug messages

upload: rearrange peer-selection code to be more readable, and fix a silly bug

oops, fix that NotEnoughPeersError instrumentation

add better error reporting to NotEnoughPeersError

change upload to push 2 shares instead of 3
Now that peers can talk to themselves, the 5-node system test won't fail
just because one of the shares was hosted on the downloader (and thus
inaccessible until recently). The 3-share push was there to avoid this
problem.

now that foolscap-0.0.7 accepts connect-to-self, allow peers to know about themselves. We now require foolscap-0.0.7

hush pyflakes warnings

rearrange encode/upload, add URIs, switch to ReplicatingEncoder

Added metadata to the bucket store, which is used to hold the share number
(but the bucket doesn't know that, it just gets a string).

Modified the codec interfaces a bit.

Try to pass around URIs to/from download/upload instead of verifierids.
URI format is still in flux.

Change the current (primitive) file encoder to use a ReplicatingEncoder
because it provides ICodecEncoder. We will be moving to the (less primitive)
file encoder (currently in allmydata.encode_new) eventually, but for now
this change lets us test out PyRS or zooko's upcoming C-based RS codec in
something larger than a single unit test. This primitive file encoder only
uses a single segment, and has no merkle trees.

Also added allmydata.util.deferredutil for a DeferredList wrapper that
errbacks (but only when all component Deferreds have fired) if there were
any errors, which unfortunately is not a behavior available from the standard
DeferredList.

add simple metadata (a single string) to the storage protocol

change IEncoder to ICodecEncoder, to match the previous change

use the word 'codec' for erasure coding, for now. 'encode' is used for file-level segmentation/hashing

sendOnly: oops, I keep forgetting that you can't really use f.trap in a lambda, because it returns the failure it trapped

test_system.py: exercise queen.Roster._lost_node too

workqueue: more tests

workqueue: more tests, coverage now at 63.4%, yay

workqueue: more improvements, more tests

workqueue: start adding tests