rrefutil: add check_remote utility function

rrefutil: add trap_remote utility and friends

web: improve layout of storage status with a table

crawler: add ETA to get_progress()

Fix for bug #645, correct path handling logic so that it works from sshfs

wui: s/Provisioning/Reliability/ ; suggested by Terrell

startstop_node.py: when restarting, tolerate a stale pid too

web: fix the ERROR: line to work the same in python2.4 and 2.5

test_cli/test_web: fix spurious test failure on solaris (maybe python2.4?) due to variations in the way that exceptions are stringified

CLI: modify 'tahoe manifest' and 'tahoe deep-check' to report ERROR: properly. For #590.

webapi: modify streaming deep-manifest/deep-checker to emit an ERROR: line if they encounter an unrecoverable+untraversable directory. For #590.

scripts/common: fix alias handling on windows again, emit slightly nicer error message in response to an unknown alias

#165: make 'tahoe restart --force' the default behavior: warn but do not stop if restart is used on something that wasn't a running node, and always try to start it afterwards. This is particularly important for #315 (restart -m), because otherwise a single not-already-running node will prevent all nodes from being restarted, resulting in longer downtime than necessary

test_deepcheck: switch deep-check tests to use no-network too. This cuts the runtime down by about 50%

test_deepcheck: convert MutableChecker to no-network GridTest

tests/no_network: move GET into the GridTestMixin class

common_web.py: oops, add .fields to the other FakeRequest

test_cli: exercise the recent tolerate-'c:\dir\file.txt' fix in scripts/common, recorded in a separate match to make it easier to merge the fix to prod

scripts/common: on windows, tolerate paths like 'c:\dir\file.txt', by treating single-letter aliases on windows/cygwin as non-aliases

test/common_web.py: add a .fields attribute to our FakeRequest, since we support versions of Nevow that are old enough to not do it themselves

Two small fixes on documentation for cli backup command.

test_web: add (disabled) test to see what happens when deep-check encounters an unrecoverable directory. We still need code changes to improve this behavior.

Add elapsed timestamp to cli backup command final summary.

Added documentation for '--exclude' and friends cli backup command.

test_repairer: change to use faster no_network.GridTestMixin, split Verifier tests into separate cases, refactor judgement funcs into shared methods

immutable/checker.py: trap ShareVersionIncompatible too. Also, use f.check
instead of examining the value returned by f.trap, because the latter appears
to squash exception types down into their base classes (i.e. since
ShareVersionIncompatible is a subclass of LayoutInvalid,
f.trap(Failure(ShareVersionIncompatible)) == LayoutInvalid).

All this resulted in 'incompatible' shares being misclassified as 'corrupt'.

immutable/layout.py: wrap to 80 cols, no functional changes

test_repairer: change Repairer to use much-faster no_network.GridTestMixin. As a side-effect, fix what I think was a bug: some of the assert-minimal-effort-expended checks were mixing write counts and allocate counts

test/no_network.py: add a basic stats provider

tests: stop using setUpClass/tearDownClass, since they've been deprecated in Twisted-8.2.0

test_checker: improve test coverage for checker results

Fixed tests again so they will pass on windows.

misc/*: remove RuntimeError too

scripts: stop using RuntimeError, for #639

mutable/publish: stop using RuntimeError, for #639

remove more RuntimeError from unit tests, for #639

stop using RuntimeError in unit tests, for #639

ftpd/sftpd: stop using RuntimeError, for #639

Added tests for the cse when listdir is an iterator

Fixed tests so that they pass also on buildbots.

Use failUnlessEqual instead of failUnless(a == b)

Better implementation of filtering algorithm.

Removed '.hgrags' from vcs excludes

docs: CREDITS to Alberto Berti

Added tests for the --exclude* options of backup command.

Added --exclude, --exclude-from and --exclude-vcs options to backup command.

It is still impossible to specify absolute exclusion path, only
relative. I must check with tar or rsync how they allow them to be
specified.

Raise a more explanatory exception for errors encountered during backup processing.

Added tests for the fixed alias related command's synopsis

Add missing synopsis and descriptions for alias commands.

docs: move many specification-like documents into specifications/

test_web.py: increase test coverage of web.status.plural()

crawler: fix performance problems: only save state once per timeslice (not after every bucket), don't start the crawler until 5 minutes after node startup

test_system: oops, don't assume that all files in storage/ are in a deep storage/shares/prefix/si/shnum path, since now the crawler pickle has a short path

crawler: tolerate low-resolution system clocks (i.e. windows)

BucketCountingCrawler: store just the count, not cycle+count, since it's too easy to make usage mistakes otherwise

test_storage: startService the server, as is now the standard practice

crawler: load state from the pickle in init, rather than waiting until startService, so get_state() can be called early

BucketCountingCrawler: rename status and state keys to use 'bucket' instead of 'share', because the former is more accurate

storage: also report space-free-for-root and space-free-for-nonroot, since that helps users understand the space-left-for-tahoe number better

storage: add bucket-counting share crawler, add its output (number of files+directories maintained by a storage server) and status to the webapi /storage page

storage: move si_b2a/si_a2b/storage_index_to_dir out of server.py and into common.py

crawler: add get_progress, clean up get_state

web/storage: make sure we can handle platforms without os.statvfs too

crawler: provide for one-shot crawlers, which stop after their first full cycle, for share-upgraders and database-populaters

web: add Storage status page, improve tests

storage: include reserved_space in stats

web/check_results: sort share identifiers in the sharemap display

webapi: pass client through constructor arguments, remove IClient, should make it easier to test web renderers in isolation

test/no_network: do startService on the storage servers, make it easier to customize the storage servers

crawler: modify API to support upcoming bucket-counting crawler

test_backupdb: make the not-a-database file larger, since the older sqlite-2.3.2 on OS-X is easily fooled

web/reliability: add parameter descriptions, adapted from a patch from Terrell Russell.

test_crawler: hush pyflakes

test_crawler: disable the percentage-of-cpu-used test, since it is too unreliable on our slow buildslaves. But leave the code in place for developers to run by hand.

reliability.py: fix the numpy conversion, it was completely broken. Thanks to Terrell Russell for the help.

reliability: switch to NumPy, since Numeric is deprecated

setup.py: fix pyflakes complaints

move show-tool-versions out of setup.py and into a separate script in misc/ , since setuptools is trying to build and install a bunch of stuff first

test_crawler: don't require >=1 cycle on cygwin

setup.py: add show_tool_versions command, for the benefit of a new buildbot step

setup.py: wrap to 80 cols, no functional changes

crawler: use fileutil.move_info_place in preference to our own version

fileutil: add move_into_place(), to perform the standard unix trick of atomically replacing a file, with a fallback for windows

crawler: fix problems on windows and our slow cygwin slave

#633: first version of a rate-limited interruptable share-crawler

change StorageServer to take nodeid in the constructor, instead of assigning it later, since it's cleaner and because the original problem (Tubs not being ready until later) went away

test_system: split off checker tests to test_deepcheck.py, this file is too big

break storage.py into smaller pieces in storage/*.py . No behavioral changes.

immutable/layout: minor change to repr name

docs: add lease-tradeoffs diagram

interfaces.py: allow add/renew/cancel-lease to return Any, so that 1.3.1 clients (the first to use these calls) can tolerate future storage servers which might return something other than None

docs/debian.txt: minor edit

add --add-lease to 'tahoe check', 'tahoe deep-check', and webapi.

change RIStorageServer.remote_add_lease to exit silently in case of no-such-bucket, instead of raising IndexError, because that makes the upcoming --add-lease feature faster and less noisy

CLI #590: convert 'tahoe deep-check' to streaming form, improve display, add tests

interfaces.py: document behavior of add_lease/renew_lease/cancel_lease, before I change it

test_backupdb: improve error messages if the test fails

webapi #590: add streaming deep-check. Still need a CLI tool to use it.

test_web.Grid: change the CHECK() function to make it easier to test t= values with hyphens in them

test_web: improve checker-results coverage with a no-network -based test, enhance no-network harness to assist, fix some bugs in web/check_results.py that were exposed