verify hash chains on incoming blocks
Implement enough of chunk.IncompleteHashTree to be usable.
Rearrange download: all block/hash requests now go through
a ValidatedBucket instance, which is responsible for retrieving
and verifying hashes before providing validated data. Download
was changed to use ValidatedBuckets everywhere instead of
unwrapped RIBucketReader references.

oops -- the previous commit of iputil wasn't the right version
Too bad synchronizing pyutil and allmydata.util includes a manual step.

port iputil to Windows (and Irix, and NetBSD, and Solaris 2, ...)

pyfec: bump version number to  1.0.0a1-2-STABLE

pyfec: add mention of sha256sum to README

pyfec: bump the performance measurement bragging up higher in the README

pyfec: bump version number to 1.0.0a1-1-STABLE

pyfec: add -f option to fec, add more user-friendly handling of filesystem errors and user errors

pyfec: add bragging about how fec is way faster than "par2"

pyfec: more progress indicators, handling of already-existent outfile

pyfec: argparse: add a feature of exclusivecreate to the argparse FileType

pyfec: argparse: simplify

pyfec: fix up docs, version numbers, bump version to 1.0.0a1-0-STABLE

pyfec: update README and bump version number to 0.9.9-0-STABLE

pyfec: add bin/fec and bin/unfec, do better handling and reporting of various errors

pyfec: new filefec with compressed metadata, better error handling, much better unit tests

pyfec: import a copy of the argparse module

pyfec: import a copy of mathutil.py from the pyutil library

pyfec: import a copy of fileutil.py from the pyutil library

pyfec: add easyfec.Decoder(), which is easier to use than fec.Decoder()

pyfec: tighten internal datatype from int to short and undo attempt to make it unsigned (Python doesn't do unsigned short)

give it a version number -- v0.9
I intend to bump it to 1.0 after adding the cmdline tools.

import Version from pyutil

merge changes and fix wrong type -- k and m need more than 8 bits (because they are the count rather than the index, i.e. they are 1-indexed)

pyfec: make unit test failures print out a few useful bytes instead of kibibytes

pyfec: add variant of randomized test which happens to match the interface to benchutil

pyfec: make randomized unit tests more comprehensive

pyfec: tighten internal C types

pyfec: fix precondition checks on k and m to actually check the value before coercing it into a smaller type (oops)

pyfec: loosen preconditions -- you can have up to 256 total shares, not up to 255 total shares

silence warning when building

port GNUmakefile to Windows, cygwin, Linux, MacOSX/PPC, MacOSX/Intel
And of course it may well work on lots of other modern unixes, too, especially the more GNUish ones.

merge TODO into roadmap.txt

add TODO: port to Windows

update TODO (add operational TODOs)

tweak README

test_util: add more coverage for assertutil.py

test_util: add full coverage for mathutil.py

download: retrieve share hashes when downloading. We don't really do much validation with them yet, though.

codec: remove more unused debugging code

node: enable Tub.logLocalFailures now that we require foolscap-0.1.2

codec: remove some unused debugging code

debian: remove the lines that install the now-removed .tac files

misc cleanup: remove old .tac files, move old stuff into misc/

test_system: bump up timeouts for the sake of slow slave1, give each test a separate base directory

include pyfec in the trial tests

encode: add more logging to investigate occasional test failures

figleaf output: include a stats.out for parsing by a munin plugin

test_util.py: sigh, one last minor python-2.5 issue

test_util.py: fix another minor python-2.5 issue

test_util.py: fix problems

more allmydata.util test coverage, rename the test case to be more correct

add test coverage for stuff in allmydata/utils

encode/upload: add more logging, to understand the test failure on a slow buildslave

chunk: add IncompleteHashTree for download purposes, plus tests

encode: clean up some weirdness that was there to make unit tests easier to write

rename encode_new.py to encode.py, now that there isn't an old one anymore

update roadmap: add download-peer-selection

add more useful text to the README

add .deb targets for edgy

tests: clean up tearDown to use flushEventualQueue instead of hacking fixed-time delays

allmydata.interfaces: remove some of the placeholders now that we require foolscap-0.1.2

use the "binary" flag on open() for files that shouldn't have line-endings automatically converted

port the makefile to Windows and update the README

add Operations/Deployment for first open source release
As per discussion I had with Peter this morning, we should do these three things and then release the first open source version.

roadmap.txt: editing

mark multiple shares per verifierid as done

roadmap: updated who is working on what
Namely that we don't know who is working on what at the moment...

roadmap.txt: mark LFE as done

tidiness: return res from logging of progress

remove util.ring, no longer used. also remove test_ring.py

pyfec: tidy-up: #include the appropriate header

pyfec: trial-ize the unit tests, making sure to keep working if trial is unavailable

pyfec: rename and clarify -- "blocks" are the units of input/output of the codec, "shares" are sequences of blocks (used to process arbitrary-length files)

fix BucketWriter to not create a finalhome until it is complete, and to clean up the empty $VERIFIERID dir under incoming/ when it moves the last share out of it

log a running total of how much of your file has been uploaded

assert that only dicts get passed to _got_response()

fix storage server to handle the case that it has no directory at all when someone asks for buckets

fix bug in storage-server: yes, "0" is a number, Mr. storage server

handle foolscap's annoying tendency to turn everything into a sets.Set, which are not interoperable with 2.4's builtin 'set' type

finish making the new encoder/decoder/upload/download work

add unit tests and fix bugs in upload

add new test for doing an encode/decode round trip, and make it almost work

uri.py: share counts are not base32-encoded

upload: change _compute_uri a bit, get infile in a different way

switch upload to use encode_new, fix a few things (but not nearly all of them)

test_encode: make sure encode_new can produce the data it is supposed to

chunk.py: remove unused non-tagged hash code

encode_new: use tagged (sha256) hashes everywhere

import fileutil, some of which came from amdlib.util and some of which came from the pyutil library

finish storage server and write new download

TODOs

new upload and storage server

add TODO

chunk.py: fix a pyflakes warning

update feisty packaging

first attempt at adding debian packaging support for ubuntu 'feisty'

node creation: be willing to utilize a pre-existing (but empty) directory

webish: add 'my nodeid' to the page

change HashTree to use new hashutil convenience methods, thus fixing a security flaw