bin/tahoe: reflow error messages

mac/Makefile: remove the verbose hdiutil diagnostics now that we resolved the problem

Makefile: give setup.py develop a '--site-dirs' arg to work around the #249 setuptools bug which causes us to unnecessarily rebuild pyopenssl and other support libs installed via debian's python-support. Should be harmless on other platforms.

web: fix output=JSON, add buttons for repair/json to the 'run deep-check' form

disallow deep-check on non-directories, simplifies the code a bit

dirnode: refactor recursive-traversal methods, add stats to deep_check() method results and t=deep-check webapi

dirnode: cleanup, make get_verifier() always return a URI instance, not a string

test_system: check t=deep-stats too

test_system: add deep-check-JSON tests, fix a bug

test_system: oops, re-enable some tests that got bypassed

test_system: add deep-stats test

hush pyflakes

checker results: add output=JSON to webapi, add tests, clean up APIs
to make the internal ones use binary strings (nodeid, storage index) and
the web/JSON ones use base32-encoded strings. The immutable verifier is
still incomplete (it returns imaginary healty results).

immutable verifier: provide some dummy results so deep-check works, make the tests ignore these results until we finish it off

mutable checker: even more tests. Everything in ICheckerResults should be covered now, except for immutable-verify which is incomplete

checker results: more tests, update interface docs

mutable checker: oops, fix redefinition of 'healthy' (numshares < N, not numshares < k, which is 'recoverable' not 'healthy')

checker results: more tests, more results. immutable verifier tests are disabled until they emit more complete results

checker: add tests, add stub for immutable check_and_repair

interfaces.py: minor improvement to IDirectoryNode.set_node

mac/Makefile: upload the .dmg file with foolscap xfer-client.py instead of scp

misc/xfer-client.py: small foolscap utility to transfer a file to a waiting server

setup: add excited DEVELOPER NOTE to install.html
It should be removed before 1.3.0 release, of course...

setup: edit the text of install.html

setup: add link to the DownloadDebianPackages page
Because I want that link off of the front page of the wiki...

setup: change URL from which to get source tarballs
So that when you look at that directory you won't see distracting other things such as darcs repositories.

test_system: make log() tolerate the format= form

immutable/checker: make log() tolerate the format= form

checker: overhaul checker results, split check/check_and_repair into separate methods, improve web displays

webapi.txt: explain that t=manifest gives verifycaps

introducer: add get_nickname_for_peerid

docs/logging.txt: explain tahoe/foolscap logging. Addresses #239.

setup: don't assert that trial is present when the Makefile is evaluated
This should fix #506, but it means that if (for some weird reason) Twisted can't be auto-installed and the find_trial.py script doesn't work, the user will get a weird failure message instead of a clean failure message explaining that trial couldn't be found.  Oh well.

Chris Galvan is working on a much nicer fix to all these issues -- see #505.

testutil.PollMixin: use a custom exception (and convert it) to avoid the ugly 'stash' cycle

mac/Makefile: more attempts to debug the buildslave failure

mac: add -verbose to the hdiutil call, to figure out why it's failing on the buildslave

setup: simplify parsing of python version number

setup: emit the version of python in the list of versions

munin: add tahoe_diskleft plugin, update spacetime/diskwatcher.tac to support it

docs: how_to_make_a_tahoe_release.txt
Just some cryptic notes to self, but if I get hit by a truck then someone else might be able to decode them.

debian: include misc/cpu-watcher.tac in the debian package

munin/tahoe_doomsday: change the graph title, 'time predictor' is more accurate than 'space predictor'

munin/tahoe_diskusage: clip the graph at zero, to prevent transient negative excursions (such as when a lot of old logfiles are deleted from a storage server's disk) from scaling the graph into unusability

CREDITS: thanks to Chris Galvan

setup: patch from Chris Galvan to build sdists with no deps in them normally, but include deps if --sumo

servermap: don't log late arrivals, and don't log DeadReferenceError at log.WEIRD

mutable: make mutable-repair work for non-verifier runs, add tests

mutable: remove work-around for a flaw in an older version of foolscap
We now require "foolscap[secure_connections] >= 0.3.0", per [source:_auto_deps.py].

docs: edit install.html a tad

misc/make_umid: little script and elisp fragment to insert umid= arguments

logging: add 'unique-message-ids' (or 'umids') to each WEIRD-or-higher log.msg call, to make it easier to correlate log message with source code

logging cleanups: lower DeadReferenceError from WEIRD (which provokes Incidents) to merely UNUSUAL, don't pre-format Failures in others

checker: make the log() function of SimpleCHKFileVerifier compatible with the log() function of its superclasses and subclasses

docs: warn that the "garbage-collection and accounting" section of architecture.txt is out of date, and clarify that "deleted" therein means ciphertext getting garbage-collected

docs/filesystem-notes.txt: add notes about enabling the 'directory index' feature on ext3 filesystems for storage server lookup speed

setup: doc string describing what the require_auto_deps() function is for

mutable/checker: log a WEIRD-level event when we see a hash failure, to trigger an Incident

immutable checker: add a status_report field

mutable/servermap: lower the priority of many log messages

web/deep-check: show the webapi runtime at the bottom of the page

CLI: tolerate blank lines in the aliases file

test_web: workaround broken HEAD behavior in twisted-2.5.0 and earlier

test_web: oops, actually use HEAD (instead of GET) in the HEAD test

web: use get_size_of_best_version for HEAD requests, provide correct content-type

mutable: add get_size_of_best_version to the interface, to simplify the web HEAD code, and tests

CLI: add 'tahoe debug corrupt-share', and use it for deep-verify tests, and fix non-deep web checker API to pass verify=true into node

IFilesystemNode: add get_storage_index(), it makes tests easier

test_system: rename Checker to ImmutableChecker, to make room for a mutable one

'tahoe debug dump-share': add --offsets, to show section offsets

test_cli: oops, fix tests after recent stdout/stderr cleanup

scripts/debug: split out dump_immutable_share

scripts/debug: clean up use of stdout/stderr

CLI: move the 'repl' command to 'tahoe debug repl'

CLI: move all debug commands (dump-share, dump-cap, find-shares, catalog-shares) into a 'debug' subcommand, and improve --help output

hush a pyflakes warning

web/directory: enable verify=true in t=deep-check

dirnode: add some deep-check logging

checker_results.problems: don't str the whole Failure, just extract the reason string

checker: add information to results, add some deep-check tests, fix a bug in which unhealthy files were not counted

mutable/checker: rearrange a bit, change checker-results to have a status_report string

mutable/servermap: add summarize_version

CLI: make 'tahoe webopen' command accept aliases like 'tahoe ls'

munin diskusage/doomsday: oops, fix labels, everything was reported in the 1hr column

munin/tahoe_overhead: don't emit non-sensicial numbers

munin: add tahoe_overhead plugin, to measure effectiveness of GC and deleting data from inactive accounts

diskwatcher.tac: include total-bytes-used

setup: remove accidentally duplicated lines from Makefile

misc/dependencies: remove the no-longer-useful foolscap-0.2.5 tarball

Makefile: avoid bare quotes, since the emacs syntax-highlighter gets confused by them

diskwatcher.tac: don't report negative timeleft

diskwatcher.tac: reduce the polling rate to once per hour

misc/spacetime: add munin plugins, add everything to .deb

diskwatcher.tac: hush pyflakes

diskwatcher.tac: add async-GET code, but leave it commented out: urlopen() seems to work better for now

cpu-watcher.tac: improve error message

disk-watcher: first draft of a daemon to use the HTTP stats interface and its new storage_server.disk_avail feature, to track changes in disk space over time

misc/cpu-watcher.tac: tolerate missing pidfiles, just skip over that sample

setup: don't attempt to escape quote marks, just delete them.  Ugly, but it works okay.

setup: escape any double-quote chars in the PATH before using the PATH to find and invoke trial

storage: include disk-free information in the stats-gatherer output