storageserver: assert that blocks are written in-order, clean up tests a bit

GNUmakefile: rm -rf ./src/pyfec/build on clean

GNUmakefile: don't stop clean if clean-pyfec fails

pyfec: rename pyfec to zfec
It turns out that "pyfec" turns off people who aren't Python hackers.
"allmyfec" is too long for a low-level core utility library.
"fec" is too generic (it is already used by Luigi Rizzo's library which this
library is based on, for one thing).

I'm open to other naming suggestions, especially before we widely announce this
library, which I expect will happen within a few days.

don't clobber existing storefile every put block

pyutil: fileutil.open_or_create()

test_storage: add (failing) test of the BucketWriter/BucketReader implementation

storageserver: the last segment is not always going to be the same size as the rest, so don't assert such a thing

system_test: exercise multiple segments

download.py: don't truncate tail segments that are the same size as all the others

test_encode.Roundtrip: cover more combinations of data size relative to segment size and number of block hash tree leaves

test_encode.Encode: cover more combinations of data size relative to segment size and number of block hash tree leaves

test_encode: test filesizes which are an exact multiple of the segment size. This test fails right now.

encode: make MAX_SEGMENT_SIZE controllable, to support tests which force the use of multiple segments. Also, remove not-very-useful upload-side debug messages

download: more test coverage

download: remove some leftover (and not very useful) debug logging

download: validate handling of missing sharehashes too

iputil.py: remove unused import

download: verify that bad blocks or hashes are caught by the download process

storageserver: ignore files in verifierdir whose filenames aren't of the right form for shares

pyutil: iputil: fix netbsd, irix, sunos

test_system: bump up timeout again, the new extra download forms take more time on poor overloaded slave1

test_iputil: improve error message

download: log more information when hashtree checks fail

download: improve test coverage on our IDownloadTarget classes, make FileHandle return the filehandle when its done so that it is easier to close

don't include test code itself in the test-coverage numbers

fec: add test for mathutil

fec: remove unused mathutil.linear_fit_slope

fec.util.mathutil.permute: fix docstring

interfaces: use explicit TupleOf and ChoiceOf constraints, since the upcoming version of Foolscap changes the meaning of bare tuples (from ChoiceOf to TupleOf)

encode.py: remove an unused import

test_hashtree.py: get full coverage for hashtree.py

hash trees: further cleanup, to make sure we're validating the right thing
hashtree.py: improve the methods available for finding out which hash nodes
 are needed. Change set_hashes() to require that every hash provided can
 be validated up to the root.
download.py: validate from the top down, including the URI-derived roothash
 in the share hash tree, and stashing the thus-validated share hash for use
 in the block hash tree.

download: always validate the blockhash, and don't let the bucket trick us into not validating hashes

hashtree.py: reindent from 2-spaces to 4-spaces. No functional changes.

rename chunk.py to hashtree.py

verify hash chains on incoming blocks
Implement enough of chunk.IncompleteHashTree to be usable.
Rearrange download: all block/hash requests now go through
a ValidatedBucket instance, which is responsible for retrieving
and verifying hashes before providing validated data. Download
was changed to use ValidatedBuckets everywhere instead of
unwrapped RIBucketReader references.

oops -- the previous commit of iputil wasn't the right version
Too bad synchronizing pyutil and allmydata.util includes a manual step.

port iputil to Windows (and Irix, and NetBSD, and Solaris 2, ...)

pyfec: bump version number to  1.0.0a1-2-STABLE

pyfec: add mention of sha256sum to README

pyfec: bump the performance measurement bragging up higher in the README

pyfec: bump version number to 1.0.0a1-1-STABLE

pyfec: add -f option to fec, add more user-friendly handling of filesystem errors and user errors

pyfec: add bragging about how fec is way faster than "par2"

pyfec: more progress indicators, handling of already-existent outfile

pyfec: argparse: add a feature of exclusivecreate to the argparse FileType

pyfec: argparse: simplify

pyfec: fix up docs, version numbers, bump version to 1.0.0a1-0-STABLE

pyfec: update README and bump version number to 0.9.9-0-STABLE

pyfec: add bin/fec and bin/unfec, do better handling and reporting of various errors

pyfec: new filefec with compressed metadata, better error handling, much better unit tests

pyfec: import a copy of the argparse module

pyfec: import a copy of mathutil.py from the pyutil library

pyfec: import a copy of fileutil.py from the pyutil library

pyfec: add easyfec.Decoder(), which is easier to use than fec.Decoder()

pyfec: tighten internal datatype from int to short and undo attempt to make it unsigned (Python doesn't do unsigned short)

give it a version number -- v0.9
I intend to bump it to 1.0 after adding the cmdline tools.

import Version from pyutil

merge changes and fix wrong type -- k and m need more than 8 bits (because they are the count rather than the index, i.e. they are 1-indexed)

pyfec: make unit test failures print out a few useful bytes instead of kibibytes

pyfec: add variant of randomized test which happens to match the interface to benchutil

pyfec: make randomized unit tests more comprehensive

pyfec: tighten internal C types

pyfec: fix precondition checks on k and m to actually check the value before coercing it into a smaller type (oops)

pyfec: loosen preconditions -- you can have up to 256 total shares, not up to 255 total shares

silence warning when building

port GNUmakefile to Windows, cygwin, Linux, MacOSX/PPC, MacOSX/Intel
And of course it may well work on lots of other modern unixes, too, especially the more GNUish ones.

merge TODO into roadmap.txt

add TODO: port to Windows

update TODO (add operational TODOs)

tweak README

test_util: add more coverage for assertutil.py

test_util: add full coverage for mathutil.py

download: retrieve share hashes when downloading. We don't really do much validation with them yet, though.

codec: remove more unused debugging code

node: enable Tub.logLocalFailures now that we require foolscap-0.1.2

codec: remove some unused debugging code

debian: remove the lines that install the now-removed .tac files

misc cleanup: remove old .tac files, move old stuff into misc/

test_system: bump up timeouts for the sake of slow slave1, give each test a separate base directory

include pyfec in the trial tests

encode: add more logging to investigate occasional test failures

figleaf output: include a stats.out for parsing by a munin plugin

test_util.py: sigh, one last minor python-2.5 issue

test_util.py: fix another minor python-2.5 issue

test_util.py: fix problems

more allmydata.util test coverage, rename the test case to be more correct

add test coverage for stuff in allmydata/utils

encode/upload: add more logging, to understand the test failure on a slow buildslave

chunk: add IncompleteHashTree for download purposes, plus tests

encode: clean up some weirdness that was there to make unit tests easier to write

rename encode_new.py to encode.py, now that there isn't an old one anymore

update roadmap: add download-peer-selection

add more useful text to the README

add .deb targets for edgy

tests: clean up tearDown to use flushEventualQueue instead of hacking fixed-time delays

allmydata.interfaces: remove some of the placeholders now that we require foolscap-0.1.2

use the "binary" flag on open() for files that shouldn't have line-endings automatically converted

port the makefile to Windows and update the README