encode: handle uploads of the same file multiple times. Unfortunately we have to do almost as much work the second time around, to compute the full URI

zfec.test.test_util: fix one last fec-to-zfec renaming

GNUmakefile: 'test' should use zfec, not fec

test_system: turn off test_connections, since it is slow and subsumed by the other system tests

interfaces.py: remove spurious 'pass' statements (which, incidentally, were counted as uncovered code)

test_storage: test StorageServer code too: allocation, lookup, multiple-writer behavior

GNUmakefile: remove test-zfec target, since the normal 'test' target provides zfec coverage

.darcs-boringfile: ignore zfec files instead of pyfec files

storageserver.py: remove unused import

iputil.list_async_addresses now "works" on cygwin

copy testutil from pyutil

copy repeatable_random from pyutil

finish renaminf "fec" to "zfec" in tahoe

zfec: bump version number to 1.0.0a2-1-STABLE

zfec: finish up some renaming of pyfec to zfec

GNUmakefile: clean up better

zfec: update docs, metadata, version number to 1.0.0a2-0-STABLE

rename bin/fec and bin/unfec to zfec and zunfec

rename top-level package from 'fec' to 'zfec'

rename "pyfec" to "zfec" within tahoe build system and source code

encode.py: remove unused pad() code

download: remove unused import

download: oops, NotEnoughHashesError comes from hashtree, not hashutil

encode: fix multi-segment uploads: lambdas inside for loops require special attention to make sure you are capturing the *value* of the loop variable and not just the slot it lives in

test_system: minor comment

factor out the tagged hash function used for subshares/blocks

comment out some verbose log messages, add commented-out new ones

storageserver: assert that blocks are written in-order, clean up tests a bit

GNUmakefile: rm -rf ./src/pyfec/build on clean

GNUmakefile: don't stop clean if clean-pyfec fails

pyfec: rename pyfec to zfec
It turns out that "pyfec" turns off people who aren't Python hackers.
"allmyfec" is too long for a low-level core utility library.
"fec" is too generic (it is already used by Luigi Rizzo's library which this
library is based on, for one thing).

I'm open to other naming suggestions, especially before we widely announce this
library, which I expect will happen within a few days.

don't clobber existing storefile every put block

pyutil: fileutil.open_or_create()

test_storage: add (failing) test of the BucketWriter/BucketReader implementation

storageserver: the last segment is not always going to be the same size as the rest, so don't assert such a thing

system_test: exercise multiple segments

download.py: don't truncate tail segments that are the same size as all the others

test_encode.Roundtrip: cover more combinations of data size relative to segment size and number of block hash tree leaves

test_encode.Encode: cover more combinations of data size relative to segment size and number of block hash tree leaves

test_encode: test filesizes which are an exact multiple of the segment size. This test fails right now.

encode: make MAX_SEGMENT_SIZE controllable, to support tests which force the use of multiple segments. Also, remove not-very-useful upload-side debug messages

download: more test coverage

download: remove some leftover (and not very useful) debug logging

download: validate handling of missing sharehashes too

iputil.py: remove unused import

download: verify that bad blocks or hashes are caught by the download process

storageserver: ignore files in verifierdir whose filenames aren't of the right form for shares

pyutil: iputil: fix netbsd, irix, sunos

test_system: bump up timeout again, the new extra download forms take more time on poor overloaded slave1

test_iputil: improve error message

download: log more information when hashtree checks fail

download: improve test coverage on our IDownloadTarget classes, make FileHandle return the filehandle when its done so that it is easier to close

don't include test code itself in the test-coverage numbers

fec: add test for mathutil

fec: remove unused mathutil.linear_fit_slope

fec.util.mathutil.permute: fix docstring

interfaces: use explicit TupleOf and ChoiceOf constraints, since the upcoming version of Foolscap changes the meaning of bare tuples (from ChoiceOf to TupleOf)

encode.py: remove an unused import

test_hashtree.py: get full coverage for hashtree.py

hash trees: further cleanup, to make sure we're validating the right thing
hashtree.py: improve the methods available for finding out which hash nodes
 are needed. Change set_hashes() to require that every hash provided can
 be validated up to the root.
download.py: validate from the top down, including the URI-derived roothash
 in the share hash tree, and stashing the thus-validated share hash for use
 in the block hash tree.

download: always validate the blockhash, and don't let the bucket trick us into not validating hashes

hashtree.py: reindent from 2-spaces to 4-spaces. No functional changes.

rename chunk.py to hashtree.py

verify hash chains on incoming blocks
Implement enough of chunk.IncompleteHashTree to be usable.
Rearrange download: all block/hash requests now go through
a ValidatedBucket instance, which is responsible for retrieving
and verifying hashes before providing validated data. Download
was changed to use ValidatedBuckets everywhere instead of
unwrapped RIBucketReader references.

oops -- the previous commit of iputil wasn't the right version
Too bad synchronizing pyutil and allmydata.util includes a manual step.

port iputil to Windows (and Irix, and NetBSD, and Solaris 2, ...)

pyfec: bump version number to  1.0.0a1-2-STABLE

pyfec: add mention of sha256sum to README

pyfec: bump the performance measurement bragging up higher in the README

pyfec: bump version number to 1.0.0a1-1-STABLE

pyfec: add -f option to fec, add more user-friendly handling of filesystem errors and user errors

pyfec: add bragging about how fec is way faster than "par2"

pyfec: more progress indicators, handling of already-existent outfile

pyfec: argparse: add a feature of exclusivecreate to the argparse FileType

pyfec: argparse: simplify

pyfec: fix up docs, version numbers, bump version to 1.0.0a1-0-STABLE

pyfec: update README and bump version number to 0.9.9-0-STABLE

pyfec: add bin/fec and bin/unfec, do better handling and reporting of various errors

pyfec: new filefec with compressed metadata, better error handling, much better unit tests

pyfec: import a copy of the argparse module

pyfec: import a copy of mathutil.py from the pyutil library

pyfec: import a copy of fileutil.py from the pyutil library

pyfec: add easyfec.Decoder(), which is easier to use than fec.Decoder()

pyfec: tighten internal datatype from int to short and undo attempt to make it unsigned (Python doesn't do unsigned short)

give it a version number -- v0.9
I intend to bump it to 1.0 after adding the cmdline tools.

import Version from pyutil

merge changes and fix wrong type -- k and m need more than 8 bits (because they are the count rather than the index, i.e. they are 1-indexed)

pyfec: make unit test failures print out a few useful bytes instead of kibibytes

pyfec: add variant of randomized test which happens to match the interface to benchutil

pyfec: make randomized unit tests more comprehensive

pyfec: tighten internal C types

pyfec: fix precondition checks on k and m to actually check the value before coercing it into a smaller type (oops)

pyfec: loosen preconditions -- you can have up to 256 total shares, not up to 255 total shares

silence warning when building

port GNUmakefile to Windows, cygwin, Linux, MacOSX/PPC, MacOSX/Intel
And of course it may well work on lots of other modern unixes, too, especially the more GNUish ones.

merge TODO into roadmap.txt

add TODO: port to Windows

update TODO (add operational TODOs)

tweak README

test_util: add more coverage for assertutil.py