immutable: base32-encode the keys to generate cache filenames that will work on all platforms

directories: make initialization of the download cache lazy
If you open up a directory containing thousands of files, it currently computes the cache filename and checks for the cache file on disk immediately for each immutble file in that directory.  With this patch, it delays those steps until you try to do something with an immutable file that could use the cache.

Add CachingDict dict subclass to dirnode.py

directories: rename internal data member download_cache to download_cache_dirman (benchmarks set this internal member and use the new name, so changing this makes the bench_dirnode.py work again)

directories: keep track of your position as you decode netstring after netstring from an input buffer instead of copying the trailing part
This makes decoding linear in the number of netstrings instead of O(N^2).

directories: in bench_dirnode.py, use a real CacheDirectoryManager instead of a fake one (because CacheDirectoryManager is a significant user of CPU and/or time)

directories: make the profiling behavior of bench_dirnode.py accessible by adding '--profile' to the cmdline

setup: increase requirement on pycryptopp to >= 0.5.15

directories: update the directory benchmarks to exercise the unpack-and-repack functionality, and add optional profiling

test/benchmark: benchmark the time to pack and unpack dirnodes
See also the prof_benchmarks() function in this file which will run the benchmarks under profiling.

setup: the mac-exe build (using py2app) requires macholib>=1.2.
Here is someone else's description of this problem:
http://rtmpy.org/ticket/7

clean up debian packaging: we have control files for etch/lenny/sid, and
everything else uses one of those. Add dependency on python-pysqlite2 for
platforms that use py2.4 by default. Update foolscap dependency to 0.4.1.

update NEWS to cover all recent changes, sort by end-user importance

Tolerate unknown URI types in directory structures. Part of #683.

The idea is that future versions of Tahoe will add new URI types that this
version won't recognize, but might store them in directories that we *can*
read. We should handle these "objects from the future" as best we can.
Previous releases of Tahoe would just explode. With this change, we'll
continue to be able to work with everything else in the directory.

The code change is to wrap anything we don't recognize as an UnknownNode
instance (as opposed to a FileNode or DirectoryNode). Then webapi knows how
to render these (mostly by leaving fields blank), deep-check knows to skip
over them, deep-stats counts them in "count-unknown". You can rename and
delete these things, but you can't add new ones (because we wouldn't know how
to generate a readcap to put into the dirnode's rocap slot, and because this
lets us catch typos better).

test_client.py: minor refactoring of BASECONFIG usage

create_node_from_uri: take both writecap+readcap, move logic out of dirnode.py

dirnode.py: prepare to preserve both rwcap+rocap when copying

This will make it easier to tolerate unknown nodes safely.

interfaces.py: wrap some lines to 80cols

cli: webopen: when called with no arguments, open the Welcome page

mutable repairer: skip repair of readcaps instead of throwing an exception.
This should improve the behavior of #625 a bit: at least all the files will
get repaired.

interfaces.py: improve ICheckAndRepairResults docs a bit

repairer.py: wrap to 80cols. No code changes.

setup: require pycryptopp>=0.5.14 if on Windows and with Python>=2.6

edit NEWS

NEWS: list all user-visible changes since 1.4.1 . Needs lots of editing.

* find-trailing-spaces.py: exit rc=1 if whitespace found, to be a pre-commit hook

use 522-bit RSA keys in all unit tests (except one)

This reduces the total test time on my laptop from 400s to 283s.
* src/allmydata/test/test_system.py (SystemTest.test_mutable._test_debug):
  Remove assertion about container_size/data_size, this changes with keysize
  and was too variable anyways.
* src/allmydata/mutable/filenode.py (MutableFileNode.create): add keysize=
* src/allmydata/dirnode.py (NewDirectoryNode.create): same
* src/allmydata/client.py (Client.DEFAULT_MUTABLE_KEYSIZE): add default,
  this overrides the one in MutableFileNode

remove trailing whitespace

remove trailing whitespace from some util classes

repairer: raise a better exception when faced with a readonly filenode. Still
produces an error, though.

mutable/filenode.py: set _writekey to None, rather than leaving it missing

This will at least turn the really really weird error when a repair of a
readonly mutable file is attempted into a merely really weird assertion that
mentions "repair currently requires a writecap".

one last tweak

more 'tahoe cp' docs tweaks

cli.py: minor tweaks to test posthooks

cli.py: update comments on 'tahoe cp' --help a bit

cli: add some --help text to 'tahoe cp'

make it possible to add/renew-lease from the WUI
add add/renew-lease checkbox on the "more info" page check/deep-check forms

hush pyflakes

Split out NoSharesError, stop adding attributes to NotEnoughSharesError, change humanize_failure to include the original exception string, update tests, behave better if humanize_failure fails.

remove introducer/old.py, will create something similar when the RIIntroducer changes

Basically just a trivial platform detection patch for NetBSD.

check_grid.py: print stderr when a subcommand fails

big rework of introducer client: change local API, split division of responsibilites better, remove old-code testing, improve error logging

web/welcome.xhtml: remove trailing whitespace

rrefutil: add trap_deafref utility, to make the callRemote-plus-ignore-DeadReferenceError-plug-log-other-errors pattern easier

PollMixin: snoop trial's error observer to halt the test early if an error is seen. This turns a lot of timeouts into fast failures.

clean up storage_broker interface: should fix #732

hush pyflakes with recent FileTooLarge removal

add docs/proposed/GridID.txt (cleaning out some of my old branches)

docs: remove warning about inability to build modules on py2.6 on Windows with mingw, differentiate between clients and servers, reflow to a consistent column width (79), add hint about firewall/NAT docs.

setup: copy in misc/show-tools-version.py from zfec -- it prints out platform and setuptools versions

docs: start updating the NEWS and relnotes.txt files, add Kevan to CREDITS

change max filesize limit tests

Instead of testing to see that the previous SDMF filesize limit was being
obeyed, we now test to make sure that we can insert files larger than that
limit.

remove upper limit on SDMF filesize

immutable/download: instrument do-you-have-block responses to investigate #732

Makefile: add jaunty support, rearrange debian sections in order of release

test_util: add known-answer tests for hashutil tags

tests: bump up a timeout that expired on Zandr's box

util: hooray!  A clean implementation of this simple utility!  Black Dew pointed out that the inverse of time.gmtime() is hidden in the "calendar" module.

util: Brian's horrible hack to figure out how much localtime and utctime differ.  Now we'll see if it works on Windows.

util: oops, time.tzset() doesn't work on Windows -- hopefully the new "London" unit test passes on Windows when we skip tzset() on platforms that don't have it

setup: edit install.html to warn Windows users away from Python v2.6

util: fix time_format.iso_utc_time_to_seconds() so that it works even in London

setup: run the same "make quicktest" on Windows as on non-Windows
I checked and it behaves about as well on Windows as the previous version did.

tests: significantly increase timeouts that triggered on Zandr's ARM box

test: multiple by 10 or so all timeouts that Zandr's ARM box just overran

tests: bump up timeout on a test that timed out on draco

tests: raise the timeout for test_cli since Zandr's ARM machine totally burst through the old one

test_cli.Backup: increase timeout massively, it takes 1200s on zandr's ARM linkstation

tests: double the timeouts on some tests which time-out on Francois's box

tests: bump up timeouts so that the tests can finish before timeout on Francois's little arm box

tests: increase timeouts on some other tests that timed-out on Francois's arm box

tests: bump up the timeout on a bunch of tests that took longer than the default timeout (120s) on François Lenny-armv5tel

backup: remove the --no-backupdb command, the handling of "can't import sqlite", and the related tests, and change an error message to more correctly indicate failure to load the database from disk rather than failure to import sqlite module
Fixes #728.

setup: require pysqlite >= v2.0.5. if we are running on Python < 2.5

setup: add pysqlite and sqlite to get_package_versions()

more refactoring: move get_all_serverids() and get_nickname_for_serverid() from Client to storage_broker

more storage_broker refactoring: downloader gets a broker instead of a client,
use Client.get_storage_broker() accessor instead of direct attribute access.

test_runner.py: remove test_client_no_noise: the issue in question is
ticketed in http://divmod.org/trac/ticket/2830 and doesn't need a Tahoe-side
change, plus this test fails on win32 for unrelated reasons (and test_client
is the place to think about the win32 issue).

remove plaintext-hashing code from the helper interface, to close #722
and deny the Helper the ability to mount a partial-information-guessing
attack. This will probably break compatibility between new clients and very
old (pre-1.0) helpers.

start to factor server-connection-management into a distinct 'StorageServerFarmBroker' object, separate from the client and the introducer. This is the starting point for #467: static server selection

mutable: catch and display first error, so code bugs which break all servers get displayed better

misc/run-with-pythonpath.py: exec() the child (on unix), to remove the intermediate process

docs: small edit to about.html

docs: add links to Tahoe-LAFS for Paranoids and Tahoe-LAFS for Corporates in about.html

docs: edit about.html and include network-and-reliance-topology.png (loaded from http://allmydata.org )

docs: a few more edits to network-and-reliance-topology.svg

docs: update network-and-reliance-topology.svg for beauty and clarity

docs: update NEWS, relnotes.txt, CREDITS to mention WUI Style

Modify markup of Tahoe web pages to be more amenable to styling; some minor changes of wording.

Tweak wording in directory page: not-read-only is "modifiable", mention creating a directory _in this directory_.

Comment on duplication of code/markup found during styling project.

Add CSS styles to spiff up the Tahoe WUI's appearance, particularly the welcome page and directories.

Link all Tahoe web pages to the /tahoe_css stylesheet which already exists.

Fix broken link from Provisioning to Reliability page.

docs: network-and-reliance-topology.svg: nicer server icons, mv out of the "specifications" subdir

docs: update network-and-reliance-topology.svg

accounting-overview.txt: more edits

accounting-overview.txt: small edits

_auto_deps.py: require foolscap-0.4.1, which adds an important fix for py2.4