ICodecEncoder: resolve some questions about the API, still more to examine

update the docs on ICodecEncoder and ICodecDecoder

fix some python2.5 incompatibilities, and remove an old webish display that suggested we might know about peers but not be connected to them

add verbosity option to bench

test_introducer: flushEventualQueue at the end of the test run

complete the Introducer changes, separate out vdrive access, make everything work again

add link to mailing list

pyfec repository description of how to download the code via darcs

merge incomplete stuff with other patches

incomplete work to be finished elsewhere

hush a pyflakes warning

separate queen's service of introduction-to-the-network from queen's service of providing-access-to-the-vdrive

more work on a memory-footprint test program

start work on a memory-measuring test tool

add test-pyfec target, not added to the main 'test' target because it adds 20 seconds to the test run

test_system.py: remove the lowered (20s) timeouts, since some buildslaves require more like 30 or 40 seconds to complete the test

test_observer: improve test coverage

Makefile: add an upload-figleaf target, rather than having the buildbot create the rsync command itself

node.py: switch to using get_local_addresses_async, which is slightly more portable (most forms of unix)

rearrange service startup a bit, now Node.startService() returns a Deferred that fires when the tub is actually ready, and there is also a Node.when_tub_ready() hook. This allows get_local_addresses() to be slow and not break everything. Changed all necessary test cases to accomodate this slow startup.

test_observer.py: remove the code that allows observers to run out-of-order, our use of foolscap.eventual removes this error case

add OneShotObserverList from the amdlib tree

control.py: fix get_memory_usage, add a sample client tool

iputil: switch to a scapy-inspired SIOCGIFADDR approach, very linux-specific now

iputil: use the subprocess module instead of os.popen

control: add RIControlClient, fix some pyflakes warnings

add a local foolscap control interface, to upload/download files and check memory usage

iputil: use explicit /sbin/ifconfig, to avoid depending upon PATH

change node startup to put all local addresses in the PBURL, including 127.0.0.1. This should facilitate testing on both connected and disconnected systems.

iputil: add get_local_addresses(), an attempt to enumerate all IPv4 addresses on this host. This is pretty unix-specific for right now (it calls ifconfig)

util.iputil: try to survive not having a global network connection at all

add some questions to allmydata.interfaces

Makefile: update figleaf code to use INSTDIR instead of now-obsolete builddir.py

dummy line to show off buildbot

hush pyflakes warnings

update the use of the encoder API in download.py

fix purely syntactic merge conflict

use pyfec instead of py_ecc for erasure coding and update API to codec

add mathutil.next_power_of_k() and mathutil.ave()

"make clean" recursively runs cleanup in subprojects (pyfec and Crypto)

pyfec: version number bump to v0.99

pyfec: add ACK and TODO

pyfec: add TODO

pyfec: fix typo in unit test

pyfec: fix preconditions and typing, remove unused error-checking, tidy-up naming and documentation

pyfec: licensing tweak

Makefile: $(PWD) doesn't always work, in particular the buildslaves don't
update environment variables like $(PWD) when the launch commands.

Makefile: parameterize 'trial' and 'python' to enable a python2.5 builder

Makefile: count-lines: ignore build/* files, also add total number of .py files

add new build/instdir directories to the boringfile

rename Crypto to allmydata.Crypto
This kind of makes me think that there is a general principle that things
shouldn't know their own names.  After all, a name is what *other* people use
to refer to you.  And in the general case, some other people might refer to you
in ways incompatible with the ways that other people refer to you.

cleanup new "instdir" on "make clean"

pyfec: make it compatible with Python 2.4 as well as Python 2.5

pyfec: silence compiler warnings, add -Wall to debugmode compilation

change build system to use subpackages pristinely and ask them to install themselves into an "instdir"

pyfec: update performance measurements

pyfec: merge conflict

pyfec: fix docstring

pyfec: fix preconditions, tighten internal C types, fix bugs in the file-encoding and benchmarking utility functions

pyfec: documentation and licensing

pyfec: COPYING

pyfec: add fec/__init__.py to import all the right names into the fec module namespace

pyfec: delete m-k of the tempfiles at random in the benchmark of the to/from files

pyfec: execute tests on import of test_pyfec.py only if it is the __main__

pyfec: weaken preconditions -- you can have up to 256 shares, and you don't have to pad the individual shares except to make them all the same length

pyfec: move benchmark code from test_pyfec.py into the new bench_pyfec.py and add more benchmark code

pyfec: add utility functions to encode into a bunch of temp files and to decode from a bunch of tempfiles

pyfec: trivial formatting tweak

pyfec: remove (optimize) unused code

pyfec: make README.txt much more detailed and rename some internal variables and add some docstrings

rename the C extension from "fec" to "_fec"

fix some of the filetree/workqueue interface definitions

pyfec: add precondition checks on the values of k and m to constructors

pyfec: trivial formatting

add README.txt

pyfec: improve package metadata

add copyright notices, license, attributions

add dummy function to see how fast we can read in a file and invoke a Python function on each segment

add benchmark

fix tests to not require pyutil and other tweaks

add utility method file_fec

use buffers as generic "read" buffers instead of char buffers
This is a typing kludge -- if your buffers have elements of size > 1 then we will be processing only a subset of the elements and treating each byte of the element as a separate entry.
Oh well.

allow any sequence as input, not just List

add warning of subtle gotcha that can happen with mutable data buffers

download: update all users to match Zooko's change to ICodecDecoder.decode (as it now returns a list instead of a single string)

update interfaces and docs for codec
It now takes a sequence of buffers instead of a single string for both encode and decode, and it also takes a separate sequence of shareids for decode instead of a sequence of tuples, and it returns a sequence of buffers instead of a single string.

add comment

nicer API -- you don't have to shuffle the shares into place before calling decode_all()
Instead it does that shuffling in C inside fecmodule.

stricter typing -- using unsigned char for indexes into shares

hush pyflakes

filetree: make delete() work

pyfec v0.9

Here is the change history from the first darcs era, in reverse chronological
order:

Mon Jan 22 16:12:56 MST 2007  "Zooko O'Whielacronx <zooko@zooko.com>"
  * move everything into a subdirectory so that I can merge this darcs repo with the tahoe darcs repo

     ./fec -> ./pyfec/fec
     ./setup.py -> ./pyfec/setup.py
    A ./pyfec/

Mon Jan 22 16:10:17 MST 2007  "Zooko O'Whielacronx <zooko@zooko.com>"
  * clean up and minimize fec.c
   * strip out unused code
   * hard-code GF_BITS to 8
   * reindent and reformat curly bracket placement

    M ./fec/fec.c -655 +324
    M ./fec/fec.h -25

Mon Jan 22 14:24:32 MST 2007  "Zooko O'Whielacronx <zooko@zooko.com>"
  * change API to allow a subset of the shares to be produced, and to just pass back pointers to primary shares instead of copying them

    M ./fec/fec.c -24 +40
    M ./fec/fec.h -5 +17
    M ./fec/fecmodule.c -63 +144
    M ./fec/test/test_pyfec.py -16 +25
    M ./setup.py -2 +27

Tue Jan 16 23:01:44 MST 2007  "Zooko O'Whielacronx <zooko@zooko.com>"
  * split encoder from decoder

    M ./fec/fecmodule.c -48 +161
    M ./fec/test/test_pyfec.py -3 +4

Tue Jan 16 14:35:25 MST 2007  "Zooko O'Whielacronx <zooko@zooko.com>"
  * it compiles now!

     ./fec.c -> ./pyfec/fec.c
     ./fec.h -> ./pyfec/fec.h
     ./fecmodule.c -> ./pyfec/fecmodule.c
     ./pyfec -> ./fec
    M ./fec/fec.c -109 +85 r13
    M ./fec/fec.h -3 +2 r13
    M ./fec/fecmodule.c -23 +241 r13
    A ./fec/test/
    A ./fec/test/test_pyfec.py
    A ./pyfec/
    A ./setup.py

Tue Jan  9 10:47:58 MST 2007  zooko@zooko.com
  * start of new fecmodule.c

    A ./fecmodule.c

Mon Jan  1 15:00:04 MST 2007  zooko@zooko.com
  * tidy up error handling

    M ./fec.c -26 +16

Mon Jan  1 14:06:30 MST 2007  zooko@zooko.com
  * remove the on-the-fly encoding option
  We don't currently need it.

    M ./fec.c -68
    M ./fec.h -22

Mon Jan  1 13:53:28 MST 2007  zooko@zooko.com
  * original import from Mnet project

    A ./fec.c
    A ./fec.h

Makefile: add target to count lines of code and TODOs

filetree: change the way addpath works, now we add workqueue steps for all involved subtrees at about the same time, rather than letting one step add the next when it runs. Finally add a (passing) test for uploading files to CHK-based directories

filetree: add vdrive upload/download test, change workqueue relative-filename semantics

queen.sendOnly: ignore DeadReferenceError too

move IWorkQueue into allmydata.interfaces, give VirtualDrive an uploader

move upload/download interfaces to allmydata.interfaces, let SubTreeMaker assert IDownloader-ness of its 'downloader' argument

test_filetree: more vdrive._get_file_uri() coverage

filetree: mark leaf nodes by adding is_leaf_subtree(), stop traversing when we hit them, to make vdrive._get_file_uri() work