test_encode.Roundtrip: cover more combinations of data size relative to segment size and number of block hash tree leaves

test_encode.Encode: cover more combinations of data size relative to segment size and number of block hash tree leaves

test_encode: test filesizes which are an exact multiple of the segment size. This test fails right now.

encode: make MAX_SEGMENT_SIZE controllable, to support tests which force the use of multiple segments. Also, remove not-very-useful upload-side debug messages

download: more test coverage

download: remove some leftover (and not very useful) debug logging

download: validate handling of missing sharehashes too

iputil.py: remove unused import

download: verify that bad blocks or hashes are caught by the download process

storageserver: ignore files in verifierdir whose filenames aren't of the right form for shares

pyutil: iputil: fix netbsd, irix, sunos

test_system: bump up timeout again, the new extra download forms take more time on poor overloaded slave1

test_iputil: improve error message

download: log more information when hashtree checks fail

download: improve test coverage on our IDownloadTarget classes, make FileHandle return the filehandle when its done so that it is easier to close

don't include test code itself in the test-coverage numbers

fec: add test for mathutil

fec: remove unused mathutil.linear_fit_slope

fec.util.mathutil.permute: fix docstring

interfaces: use explicit TupleOf and ChoiceOf constraints, since the upcoming version of Foolscap changes the meaning of bare tuples (from ChoiceOf to TupleOf)

encode.py: remove an unused import

test_hashtree.py: get full coverage for hashtree.py

hash trees: further cleanup, to make sure we're validating the right thing
hashtree.py: improve the methods available for finding out which hash nodes
 are needed. Change set_hashes() to require that every hash provided can
 be validated up to the root.
download.py: validate from the top down, including the URI-derived roothash
 in the share hash tree, and stashing the thus-validated share hash for use
 in the block hash tree.

download: always validate the blockhash, and don't let the bucket trick us into not validating hashes

hashtree.py: reindent from 2-spaces to 4-spaces. No functional changes.

rename chunk.py to hashtree.py

verify hash chains on incoming blocks
Implement enough of chunk.IncompleteHashTree to be usable.
Rearrange download: all block/hash requests now go through
a ValidatedBucket instance, which is responsible for retrieving
and verifying hashes before providing validated data. Download
was changed to use ValidatedBuckets everywhere instead of
unwrapped RIBucketReader references.

oops -- the previous commit of iputil wasn't the right version
Too bad synchronizing pyutil and allmydata.util includes a manual step.

port iputil to Windows (and Irix, and NetBSD, and Solaris 2, ...)

pyfec: bump version number to  1.0.0a1-2-STABLE

pyfec: add mention of sha256sum to README

pyfec: bump the performance measurement bragging up higher in the README

pyfec: bump version number to 1.0.0a1-1-STABLE

pyfec: add -f option to fec, add more user-friendly handling of filesystem errors and user errors

pyfec: add bragging about how fec is way faster than "par2"

pyfec: more progress indicators, handling of already-existent outfile

pyfec: argparse: add a feature of exclusivecreate to the argparse FileType

pyfec: argparse: simplify

pyfec: fix up docs, version numbers, bump version to 1.0.0a1-0-STABLE

pyfec: update README and bump version number to 0.9.9-0-STABLE

pyfec: add bin/fec and bin/unfec, do better handling and reporting of various errors

pyfec: new filefec with compressed metadata, better error handling, much better unit tests

pyfec: import a copy of the argparse module

pyfec: import a copy of mathutil.py from the pyutil library

pyfec: import a copy of fileutil.py from the pyutil library

pyfec: add easyfec.Decoder(), which is easier to use than fec.Decoder()

pyfec: tighten internal datatype from int to short and undo attempt to make it unsigned (Python doesn't do unsigned short)

give it a version number -- v0.9
I intend to bump it to 1.0 after adding the cmdline tools.

import Version from pyutil

merge changes and fix wrong type -- k and m need more than 8 bits (because they are the count rather than the index, i.e. they are 1-indexed)

pyfec: make unit test failures print out a few useful bytes instead of kibibytes

pyfec: add variant of randomized test which happens to match the interface to benchutil

pyfec: make randomized unit tests more comprehensive

pyfec: tighten internal C types

pyfec: fix precondition checks on k and m to actually check the value before coercing it into a smaller type (oops)

pyfec: loosen preconditions -- you can have up to 256 total shares, not up to 255 total shares

silence warning when building

port GNUmakefile to Windows, cygwin, Linux, MacOSX/PPC, MacOSX/Intel
And of course it may well work on lots of other modern unixes, too, especially the more GNUish ones.

merge TODO into roadmap.txt

add TODO: port to Windows

update TODO (add operational TODOs)

tweak README

test_util: add more coverage for assertutil.py

test_util: add full coverage for mathutil.py

download: retrieve share hashes when downloading. We don't really do much validation with them yet, though.

codec: remove more unused debugging code

node: enable Tub.logLocalFailures now that we require foolscap-0.1.2

codec: remove some unused debugging code

debian: remove the lines that install the now-removed .tac files

misc cleanup: remove old .tac files, move old stuff into misc/

test_system: bump up timeouts for the sake of slow slave1, give each test a separate base directory

include pyfec in the trial tests

encode: add more logging to investigate occasional test failures

figleaf output: include a stats.out for parsing by a munin plugin

test_util.py: sigh, one last minor python-2.5 issue

test_util.py: fix another minor python-2.5 issue

test_util.py: fix problems

more allmydata.util test coverage, rename the test case to be more correct

add test coverage for stuff in allmydata/utils

encode/upload: add more logging, to understand the test failure on a slow buildslave

chunk: add IncompleteHashTree for download purposes, plus tests

encode: clean up some weirdness that was there to make unit tests easier to write

rename encode_new.py to encode.py, now that there isn't an old one anymore

update roadmap: add download-peer-selection

add more useful text to the README

add .deb targets for edgy

tests: clean up tearDown to use flushEventualQueue instead of hacking fixed-time delays

allmydata.interfaces: remove some of the placeholders now that we require foolscap-0.1.2

use the "binary" flag on open() for files that shouldn't have line-endings automatically converted

port the makefile to Windows and update the README

add Operations/Deployment for first open source release
As per discussion I had with Peter this morning, we should do these three things and then release the first open source version.

roadmap.txt: editing

mark multiple shares per verifierid as done

roadmap: updated who is working on what
Namely that we don't know who is working on what at the moment...

roadmap.txt: mark LFE as done

tidiness: return res from logging of progress

remove util.ring, no longer used. also remove test_ring.py

pyfec: tidy-up: #include the appropriate header

pyfec: trial-ize the unit tests, making sure to keep working if trial is unavailable

pyfec: rename and clarify -- "blocks" are the units of input/output of the codec, "shares" are sequences of blocks (used to process arbitrary-length files)