consolidator: re-use more directories, add total directories seen-vs-used counts

tahoe_backup.py: tolerate more time formats

consolidator: add more verbose traversal of directories

consolidate: create multiple numbered backups of the original Archives directory, not just the first time

add 'tahoe debug consolidate' command, to merge directories created by repeated 'tahoe cp -r' or the allmydata win32 backup tool, into the form that would have been created by 'tahoe backup'.

tahoe_cp.py: return 0 for success, instead of None

setup: specify in the debian/control files that tahoe is compatible with Python 2.6

setup: update the debian/copyright text to reflect the current licences

expirer: fix prediction math, thanks to Zandr for the catch

storage.expirer: oops, fix upgrade-handler code

storage.expirer: handle upgrades better

storage.expirer: exercise the last missing line of webstatus code

expirer: tolerate corrupt shares, add them to the state and history for future examination

storage/immutable: raise a specific error upon seeing a bad version number, instead of using assert. Also wrap to 80cols.

storage: add test coverage for BucketReader.__repr__

storage/mutable: raise a specific error upon seeing bad magic, instead of using assert

nodeadmin: node stops itself if a hotline file hasn't been touched in 120 seconds now, instead of in 60 seconds
A test failed on draco (MacPPC) because it took 67.1 seconds to get around to running the test, and the node had already stopped itself when the hotline file was 60 seconds old.

expirer: make web display a bit more consistent

web/storage.py: tolerate unknown-future displays, I'm not sure why LeaseCrawler.test_unpredictable_future didn't catch this

tahoe_cp.py: improve error reporting slightly: don't json-interpret HTTP errors, pass through tahoe webapi error messages

test_cli.py: assert that 'ls' on an unrecoverable file now gives a better error message

test_web: test behavior of broken-dirnode GET, both html and json

web: when a dirnode can't be read, emit a regular HTML page but with the child-table and upload-forms replaced with an apologetic message. Make sure to include the 'get info' links so the user can do a filecheck

web/common: split out exception-to-explanation+code mapping to a separate humanize_failure() function, so it can be used by other code. Add explanation for mutable UnrecoverableFileError.

test_cli: use explicit (and stable) testdirs, instead of using self.mktemp

test_storage: solaris doesn't appear to give the same block count as other platforms, so don't assert as much about 'diskbytes' recovered

tahoe_cp.py: don't be verbose unless --verbose is passed: default is one line of success

setup.cfg: use allmydata.org as a mirror for some of our necessary dependencies

storage: add a lease-checker-and-expirer crawler, plus web status page.

This walks slowly through all shares, examining their leases, deciding which
are still valid and which have expired. Once enabled, it will then remove the
expired leases, and delete shares which no longer have any valid leases. Note
that there is not yet a tahoe.cfg option to enable lease-deletion: the
current code is read-only. A subsequent patch will add a tahoe.cfg knob to
control this, as well as docs. Some other minor items included in this patch:

 tahoe debug dump-share has a new --leases-only flag
 storage sharefile/leaseinfo code is cleaned up
 storage web status page (/storage) has more info, more tests coverage
 space-left measurement on OS-X should be more accurate (it was off by 2048x)
  (use stat .f_frsize instead of f_bsize)

setup: comment-out the use of the directory full of dependency packages on the test grid -- the test grid is too unreliable!  :-(

setup: create a "make deb-lenny-head" target
I made this patch by copying [20090305220021-92b7f-89d987c7d05306b5cb03a64f2956a652c10a7296] and changing the name from "intrepid" to "lenny".  I haven't tested it.

trivial: remove unused import detected by pyflakes, and remove trailing whitespace

setup: enable build of .debs for Ubuntu Intrepid, thanks to DarKNesS_WolF

trivial: use more specific function for ascii-encoding storage index

doc: update how_to_make_a_tahoe_release.txt

test_cli: validate non-HTML error response of 'tahoe get' on an unrecoverable file

web: full patch for HTML-vs-plaintext traceback renderings, improve test coverage of exception rendering

web/common.py: use 'Accept:' header to control HTML-vs-text/plain traceback renderings

test/common: rearrange shouldHTTPError

web: move plural() to common.py

add more information to NotEnoughSharesError, split out new exceptions for no-servers and no-source-of-ueb-hash

test_web: move shouldHTTPError into common.WebErrorMixin

test_web: clean up shouldHTTPError methods

immutable checker add-lease: catch remote IndexError here too

servermap add-lease: fix the code that's supposed to catch remote IndexErrors, I forgot that they present as ServerFailures instead. This should stop the deluge of Incidents that occur when you do add-lease against 1.3.0 servers

rrefutil: add check_remote utility function

rrefutil: add trap_remote utility and friends

web: improve layout of storage status with a table

crawler: add ETA to get_progress()

Fix for bug #645, correct path handling logic so that it works from sshfs

wui: s/Provisioning/Reliability/ ; suggested by Terrell

startstop_node.py: when restarting, tolerate a stale pid too

web: fix the ERROR: line to work the same in python2.4 and 2.5

test_cli/test_web: fix spurious test failure on solaris (maybe python2.4?) due to variations in the way that exceptions are stringified

CLI: modify 'tahoe manifest' and 'tahoe deep-check' to report ERROR: properly. For #590.

webapi: modify streaming deep-manifest/deep-checker to emit an ERROR: line if they encounter an unrecoverable+untraversable directory. For #590.

scripts/common: fix alias handling on windows again, emit slightly nicer error message in response to an unknown alias

#165: make 'tahoe restart --force' the default behavior: warn but do not stop if restart is used on something that wasn't a running node, and always try to start it afterwards. This is particularly important for #315 (restart -m), because otherwise a single not-already-running node will prevent all nodes from being restarted, resulting in longer downtime than necessary

test_deepcheck: switch deep-check tests to use no-network too. This cuts the runtime down by about 50%

test_deepcheck: convert MutableChecker to no-network GridTest

tests/no_network: move GET into the GridTestMixin class

common_web.py: oops, add .fields to the other FakeRequest

test_cli: exercise the recent tolerate-'c:\dir\file.txt' fix in scripts/common, recorded in a separate match to make it easier to merge the fix to prod

scripts/common: on windows, tolerate paths like 'c:\dir\file.txt', by treating single-letter aliases on windows/cygwin as non-aliases

test/common_web.py: add a .fields attribute to our FakeRequest, since we support versions of Nevow that are old enough to not do it themselves

Two small fixes on documentation for cli backup command.

test_web: add (disabled) test to see what happens when deep-check encounters an unrecoverable directory. We still need code changes to improve this behavior.

Add elapsed timestamp to cli backup command final summary.

Added documentation for '--exclude' and friends cli backup command.

test_repairer: change to use faster no_network.GridTestMixin, split Verifier tests into separate cases, refactor judgement funcs into shared methods

immutable/checker.py: trap ShareVersionIncompatible too. Also, use f.check
instead of examining the value returned by f.trap, because the latter appears
to squash exception types down into their base classes (i.e. since
ShareVersionIncompatible is a subclass of LayoutInvalid,
f.trap(Failure(ShareVersionIncompatible)) == LayoutInvalid).

All this resulted in 'incompatible' shares being misclassified as 'corrupt'.

immutable/layout.py: wrap to 80 cols, no functional changes

test_repairer: change Repairer to use much-faster no_network.GridTestMixin. As a side-effect, fix what I think was a bug: some of the assert-minimal-effort-expended checks were mixing write counts and allocate counts

test/no_network.py: add a basic stats provider

tests: stop using setUpClass/tearDownClass, since they've been deprecated in Twisted-8.2.0

test_checker: improve test coverage for checker results

Fixed tests again so they will pass on windows.

misc/*: remove RuntimeError too

scripts: stop using RuntimeError, for #639

mutable/publish: stop using RuntimeError, for #639

remove more RuntimeError from unit tests, for #639

stop using RuntimeError in unit tests, for #639

ftpd/sftpd: stop using RuntimeError, for #639

Added tests for the cse when listdir is an iterator

Fixed tests so that they pass also on buildbots.

Use failUnlessEqual instead of failUnless(a == b)

Better implementation of filtering algorithm.

Removed '.hgrags' from vcs excludes

docs: CREDITS to Alberto Berti

Added tests for the --exclude* options of backup command.

Added --exclude, --exclude-from and --exclude-vcs options to backup command.

It is still impossible to specify absolute exclusion path, only
relative. I must check with tar or rsync how they allow them to be
specified.

Raise a more explanatory exception for errors encountered during backup processing.

Added tests for the fixed alias related command's synopsis

Add missing synopsis and descriptions for alias commands.

docs: move many specification-like documents into specifications/

test_web.py: increase test coverage of web.status.plural()

crawler: fix performance problems: only save state once per timeslice (not after every bucket), don't start the crawler until 5 minutes after node startup

test_system: oops, don't assume that all files in storage/ are in a deep storage/shares/prefix/si/shnum path, since now the crawler pickle has a short path

crawler: tolerate low-resolution system clocks (i.e. windows)

BucketCountingCrawler: store just the count, not cycle+count, since it's too easy to make usage mistakes otherwise