rename NewDirectoryNode to DirectoryNode, NewDirectoryURI to DirectoryURI

interfaces: remove dead code, FileNode_ and EncryptedThing constraints

introduction/storage-broker: add assertions of serverids being the right type and of internal consistency between the number of storage servers known and the number of storage servers

upload: fix #758 recursion-loop in peer-selection when servers report errors.
The bug was in the code that handles a third-or-later pass, and was
previously untested.

setup: clarify the way that we host two directories of dependencies: one is source distributions and the other is binary distributions

'tahoe stats': tolerate empty directories. Closes #693.

node.py: record pid in twisted log at startup. Closes #476.

Allow tests to pass with -OO by turning some AssertionErrors (the ones that
we actually exercise during tests) into more specific exceptions, so they
don't get optimized away. The best rule to follow is probably this: if an
exception is worth testing, then it's part of the API, and AssertionError
should never be part of the API. Closes #749.

setup: tell build to search a directory (hosted on allmydata.org) which contains eggs

wui: fix test for welcome page

wui: adjust headers/titles and "Attach something to this directory" text in accordance with #691
Also name it as "TahoeLAFS" in this text.

mac: emit the stdout and stderr from a failed call to Allmydata (this is very useful diagnostic info)

mac: improve shutdown and clean-up after the test of the macintosh packaging

setup: add "test_mac_diskimage" command which attempts to mount and use a .dmg to make sure it has a good Tahoe distribution in it

dirnode: finish renaming "iv" to "salt" in the code and the hash tag

dirnode.py/_encrypt_rwcap: rename IV to "salt", which is more accurate

dirnode.py: security bug: also use child writecap to derive child enc key,
not just the dirnode writecap. The previous code (which only hashed the
dirnode writecap) would use the same key for all children, which is very bad.
This is the correct implementation of #750.

NEWS: update with all recent changes

proposed/mutable-DSA.txt: add some new design criteria

Use CachingDict instead of dict in dirnode.py

directories: fix semantic conflict between my "keep track of position" optimization patch and Kevan's "cache serialized entries" optimization patch

Modify bench_dirnode.py to use CachingDict.

Add tests for CachingDict, _pack_contents, _unpack_contents

trivial: removed unused import noticed by pyflakes

directories: make the IV for the writecaps in directory entries be computed from the secure hash of the writecap itself
This makes encoding of directory entries deterministic, and it is also a tad faster on Macbook Pro than getting a random IV with os.urandom(16).

tests: raise the timeout on pollmixin from 100s to 1000s -- it looks like it may have triggered too eagerly on Zandr's 266 MHz armel

setup: add sys.maxunicode to the show-tool-versions output in order to investigate bugs.python.org/setuptools/issue78

immutable: base32-encode the keys to generate cache filenames that will work on all platforms

directories: make initialization of the download cache lazy
If you open up a directory containing thousands of files, it currently computes the cache filename and checks for the cache file on disk immediately for each immutble file in that directory.  With this patch, it delays those steps until you try to do something with an immutable file that could use the cache.

Add CachingDict dict subclass to dirnode.py

directories: rename internal data member download_cache to download_cache_dirman (benchmarks set this internal member and use the new name, so changing this makes the bench_dirnode.py work again)

directories: keep track of your position as you decode netstring after netstring from an input buffer instead of copying the trailing part
This makes decoding linear in the number of netstrings instead of O(N^2).

directories: in bench_dirnode.py, use a real CacheDirectoryManager instead of a fake one (because CacheDirectoryManager is a significant user of CPU and/or time)

directories: make the profiling behavior of bench_dirnode.py accessible by adding '--profile' to the cmdline

setup: increase requirement on pycryptopp to >= 0.5.15

directories: update the directory benchmarks to exercise the unpack-and-repack functionality, and add optional profiling

test/benchmark: benchmark the time to pack and unpack dirnodes
See also the prof_benchmarks() function in this file which will run the benchmarks under profiling.

setup: the mac-exe build (using py2app) requires macholib>=1.2.
Here is someone else's description of this problem:
http://rtmpy.org/ticket/7

clean up debian packaging: we have control files for etch/lenny/sid, and
everything else uses one of those. Add dependency on python-pysqlite2 for
platforms that use py2.4 by default. Update foolscap dependency to 0.4.1.

update NEWS to cover all recent changes, sort by end-user importance

Tolerate unknown URI types in directory structures. Part of #683.

The idea is that future versions of Tahoe will add new URI types that this
version won't recognize, but might store them in directories that we *can*
read. We should handle these "objects from the future" as best we can.
Previous releases of Tahoe would just explode. With this change, we'll
continue to be able to work with everything else in the directory.

The code change is to wrap anything we don't recognize as an UnknownNode
instance (as opposed to a FileNode or DirectoryNode). Then webapi knows how
to render these (mostly by leaving fields blank), deep-check knows to skip
over them, deep-stats counts them in "count-unknown". You can rename and
delete these things, but you can't add new ones (because we wouldn't know how
to generate a readcap to put into the dirnode's rocap slot, and because this
lets us catch typos better).

test_client.py: minor refactoring of BASECONFIG usage

create_node_from_uri: take both writecap+readcap, move logic out of dirnode.py

dirnode.py: prepare to preserve both rwcap+rocap when copying

This will make it easier to tolerate unknown nodes safely.

interfaces.py: wrap some lines to 80cols

cli: webopen: when called with no arguments, open the Welcome page

mutable repairer: skip repair of readcaps instead of throwing an exception.
This should improve the behavior of #625 a bit: at least all the files will
get repaired.

interfaces.py: improve ICheckAndRepairResults docs a bit

repairer.py: wrap to 80cols. No code changes.

setup: require pycryptopp>=0.5.14 if on Windows and with Python>=2.6

edit NEWS

NEWS: list all user-visible changes since 1.4.1 . Needs lots of editing.

* find-trailing-spaces.py: exit rc=1 if whitespace found, to be a pre-commit hook

use 522-bit RSA keys in all unit tests (except one)

This reduces the total test time on my laptop from 400s to 283s.
* src/allmydata/test/test_system.py (SystemTest.test_mutable._test_debug):
  Remove assertion about container_size/data_size, this changes with keysize
  and was too variable anyways.
* src/allmydata/mutable/filenode.py (MutableFileNode.create): add keysize=
* src/allmydata/dirnode.py (NewDirectoryNode.create): same
* src/allmydata/client.py (Client.DEFAULT_MUTABLE_KEYSIZE): add default,
  this overrides the one in MutableFileNode

remove trailing whitespace

remove trailing whitespace from some util classes

repairer: raise a better exception when faced with a readonly filenode. Still
produces an error, though.

mutable/filenode.py: set _writekey to None, rather than leaving it missing

This will at least turn the really really weird error when a repair of a
readonly mutable file is attempted into a merely really weird assertion that
mentions "repair currently requires a writecap".

one last tweak

more 'tahoe cp' docs tweaks

cli.py: minor tweaks to test posthooks

cli.py: update comments on 'tahoe cp' --help a bit

cli: add some --help text to 'tahoe cp'

make it possible to add/renew-lease from the WUI
add add/renew-lease checkbox on the "more info" page check/deep-check forms

hush pyflakes

Split out NoSharesError, stop adding attributes to NotEnoughSharesError, change humanize_failure to include the original exception string, update tests, behave better if humanize_failure fails.

remove introducer/old.py, will create something similar when the RIIntroducer changes

Basically just a trivial platform detection patch for NetBSD.

check_grid.py: print stderr when a subcommand fails

big rework of introducer client: change local API, split division of responsibilites better, remove old-code testing, improve error logging

web/welcome.xhtml: remove trailing whitespace

rrefutil: add trap_deafref utility, to make the callRemote-plus-ignore-DeadReferenceError-plug-log-other-errors pattern easier

PollMixin: snoop trial's error observer to halt the test early if an error is seen. This turns a lot of timeouts into fast failures.

clean up storage_broker interface: should fix #732

hush pyflakes with recent FileTooLarge removal

add docs/proposed/GridID.txt (cleaning out some of my old branches)

docs: remove warning about inability to build modules on py2.6 on Windows with mingw, differentiate between clients and servers, reflow to a consistent column width (79), add hint about firewall/NAT docs.

setup: copy in misc/show-tools-version.py from zfec -- it prints out platform and setuptools versions

docs: start updating the NEWS and relnotes.txt files, add Kevan to CREDITS

change max filesize limit tests

Instead of testing to see that the previous SDMF filesize limit was being
obeyed, we now test to make sure that we can insert files larger than that
limit.

remove upper limit on SDMF filesize

immutable/download: instrument do-you-have-block responses to investigate #732

Makefile: add jaunty support, rearrange debian sections in order of release

test_util: add known-answer tests for hashutil tags

tests: bump up a timeout that expired on Zandr's box

util: hooray!  A clean implementation of this simple utility!  Black Dew pointed out that the inverse of time.gmtime() is hidden in the "calendar" module.

util: Brian's horrible hack to figure out how much localtime and utctime differ.  Now we'll see if it works on Windows.

util: oops, time.tzset() doesn't work on Windows -- hopefully the new "London" unit test passes on Windows when we skip tzset() on platforms that don't have it

setup: edit install.html to warn Windows users away from Python v2.6

util: fix time_format.iso_utc_time_to_seconds() so that it works even in London

setup: run the same "make quicktest" on Windows as on non-Windows
I checked and it behaves about as well on Windows as the previous version did.

tests: significantly increase timeouts that triggered on Zandr's ARM box

test: multiple by 10 or so all timeouts that Zandr's ARM box just overran

tests: bump up timeout on a test that timed out on draco

tests: raise the timeout for test_cli since Zandr's ARM machine totally burst through the old one

test_cli.Backup: increase timeout massively, it takes 1200s on zandr's ARM linkstation

tests: double the timeouts on some tests which time-out on Francois's box

tests: bump up timeouts so that the tests can finish before timeout on Francois's little arm box

tests: increase timeouts on some other tests that timed-out on Francois's arm box

tests: bump up the timeout on a bunch of tests that took longer than the default timeout (120s) on François Lenny-armv5tel