crawler: fix performance problems: only save state once per timeslice (not after every bucket), don't start the crawler until 5 minutes after node startup

test_system: oops, don't assume that all files in storage/ are in a deep storage/shares/prefix/si/shnum path, since now the crawler pickle has a short path

crawler: tolerate low-resolution system clocks (i.e. windows)

BucketCountingCrawler: store just the count, not cycle+count, since it's too easy to make usage mistakes otherwise

test_storage: startService the server, as is now the standard practice

crawler: load state from the pickle in init, rather than waiting until startService, so get_state() can be called early

BucketCountingCrawler: rename status and state keys to use 'bucket' instead of 'share', because the former is more accurate

storage: also report space-free-for-root and space-free-for-nonroot, since that helps users understand the space-left-for-tahoe number better

storage: add bucket-counting share crawler, add its output (number of files+directories maintained by a storage server) and status to the webapi /storage page

storage: move si_b2a/si_a2b/storage_index_to_dir out of server.py and into common.py

crawler: add get_progress, clean up get_state

web/storage: make sure we can handle platforms without os.statvfs too

crawler: provide for one-shot crawlers, which stop after their first full cycle, for share-upgraders and database-populaters

web: add Storage status page, improve tests

storage: include reserved_space in stats

web/check_results: sort share identifiers in the sharemap display

webapi: pass client through constructor arguments, remove IClient, should make it easier to test web renderers in isolation

test/no_network: do startService on the storage servers, make it easier to customize the storage servers

crawler: modify API to support upcoming bucket-counting crawler

test_backupdb: make the not-a-database file larger, since the older sqlite-2.3.2 on OS-X is easily fooled

web/reliability: add parameter descriptions, adapted from a patch from Terrell Russell.

test_crawler: hush pyflakes

test_crawler: disable the percentage-of-cpu-used test, since it is too unreliable on our slow buildslaves. But leave the code in place for developers to run by hand.

reliability.py: fix the numpy conversion, it was completely broken. Thanks to Terrell Russell for the help.

reliability: switch to NumPy, since Numeric is deprecated

setup.py: fix pyflakes complaints

move show-tool-versions out of setup.py and into a separate script in misc/ , since setuptools is trying to build and install a bunch of stuff first

test_crawler: don't require >=1 cycle on cygwin

setup.py: add show_tool_versions command, for the benefit of a new buildbot step

setup.py: wrap to 80 cols, no functional changes

crawler: use fileutil.move_info_place in preference to our own version

fileutil: add move_into_place(), to perform the standard unix trick of atomically replacing a file, with a fallback for windows

crawler: fix problems on windows and our slow cygwin slave

#633: first version of a rate-limited interruptable share-crawler

change StorageServer to take nodeid in the constructor, instead of assigning it later, since it's cleaner and because the original problem (Tubs not being ready until later) went away

test_system: split off checker tests to test_deepcheck.py, this file is too big

break storage.py into smaller pieces in storage/*.py . No behavioral changes.

immutable/layout: minor change to repr name

docs: add lease-tradeoffs diagram

interfaces.py: allow add/renew/cancel-lease to return Any, so that 1.3.1 clients (the first to use these calls) can tolerate future storage servers which might return something other than None

docs/debian.txt: minor edit

add --add-lease to 'tahoe check', 'tahoe deep-check', and webapi.

change RIStorageServer.remote_add_lease to exit silently in case of no-such-bucket, instead of raising IndexError, because that makes the upcoming --add-lease feature faster and less noisy

CLI #590: convert 'tahoe deep-check' to streaming form, improve display, add tests

interfaces.py: document behavior of add_lease/renew_lease/cancel_lease, before I change it

test_backupdb: improve error messages if the test fails

webapi #590: add streaming deep-check. Still need a CLI tool to use it.

test_web.Grid: change the CHECK() function to make it easier to test t= values with hyphens in them

test_web: improve checker-results coverage with a no-network -based test, enhance no-network harness to assist, fix some bugs in web/check_results.py that were exposed

web: fix handling of reliability page when Numeric is not available

test/no_network: update comments with setup timing: no_network takes 50ms, SystemTestMixin takes 2s (on my laptop)

test_upload: rewrite in terms of no-network GridTestMixin, improve no_network.py as necessary

test_download: rewrite in terms of no-network GridTestMixin, improve no_network.py as necessary

test_dirnode.py: convert Deleter to new no-network gridtest

test_cli.py: modify to use the new 'no-network' gridtest instead of SystemTestMixin, which speeds it up from 73s to 43s on my system

tests: fix no_network framework to work with upload/download and checker

client.py: improve docstring

test_cli: add test coverage for help strings

test/no_network: new test harness, like system-test but doesn't use the network so it's faster

interfaces.py: minor docstring edit

setup: if you sdist_dsc (to produce the input files for dpkg-buildpackage) then run darcsver first

doc: a few edits to docs made after the 1.3.0 release

test_cli: improve test coverage slightly

test_util: get almost full test coverage of dictutil, starting with the original pyutil tests as a base. The remaining three uncovered lines involve funny cases of ValueOrderedDict that I can't figure out how to get at

provisioning/reliability: add tests, hush pyflakes, remove dead code, fix web links

util/statistics: add tests, fix mean_repair_cost

test_repairer: hush pyflakes

lossmodel.lyx: move draft paper into docs/proposed/, since it's unfinished

build a 'reliability' web page, with a simulation of file decay and repair over time

More lossmodel work, on repair.

Loss model work (temp1)

Statistics module

Added a statistics module for calculating various facets of
share survival statistics.

docs: relnotes-short.txt
linkedin.com imposed a strict limit on the number of characters I could post.  This forced me to prune and prune and edit and edit until relnotes.txt was a quarter of its former size.  Here's the short version.

TAG allmydata-tahoe-1.3.0

docs: a few last-minute edits to the docs for 1.3.0 (also this patch will accompany the tag and conveniently trigger the buildbots to build a 1.3.0 version)

setup: remove attempt to automatically satisfy dependency on pywin32

NEWS: mention #625 (deep-repair breaks when it tries to repair a read-only directory)

test_dirnode: #625 run deep-check on a readonly dirnode too

docs: CREDITS

figleaf_htmlizer: fix order of summary counters

Makefile: minor, add .PHONY declarations

figleaf_htmlizer: oops, re-ignore files that aren't under root, like code in auto-built eggs

setup: relnotes.txt mention the iPhone app and CIFS/SMB (tahoe-w32-client)

setup: make the "full version string" be "allmydata-tahoe/1.3.0" instead of "allmydata-tahoe-1.3.0" and the UserAgent string of the cli be "allmydata-tahoe/1.3.0 (tahoe-client)"
This is webbish.  Thanks to kpreid for suggesting it.

docs: relnotes.txt final (!?) update for 1.3.0!

docs: known_issues.txt: my version of #615, remove "issue numbers", edits, move tahoe-1.1.0 issues to historical

docs: CREDITS

Makefile: add figleaf-delta-output, to render figleaf coverage differences with a previous run

figleaf_htmlizer: emit stats to stdout, so buildbot can see it

figleaf_htmlizer: render changes in coverage relative to a previous test run using --old-coverage

immutable repairer: fix DownUpConnector so that it satisfies short reads the were requested after the last write and before the close
This is probably the cause of the very rare "loss of progress" bug.  This is tested by unit tests.  A recent patch changed this to errback instead of losing progress, and now this patch is changing it again to return a short read instead of errbacking.  Returning a short read is what the uploader (in encode.py) is expecting, when it is reading the last block of the ciphertext, which might be shorter than the other blocks.

immutable repairer: add an assertion that a certain value in this tricky function is always what I think it is

immutable repairer: add tests of how it handles short reads

nodeadmin: node stops itself if a hotline file hasn't been touched in 60 seconds now, instead of in 40 seconds
A test failed on draco (MacPPC) because it took 49 seconds to get around to running the test, and the node had already stopped itself when the hotline file was 40 seconds old.

immutable repairer: errback any pending readers of DownUpConnectorwhen it runs out of bytes, and test that fact

figleaf_htmlizer: more rearranging, behavior should still be unchanged

figleaf_htmlizer: break it up into subfunctions, behavior should still be unchanged

figleaf_htmlizer: rewrite in class form, behavior should be the same as before

figleaf_htmlizer: rewrite with twisted.python.usage, remove logging: should behave the same as before

figleaf_htmlizer: expand tabs, fix to 4-space indents. No functional changes.