checker: overhaul checker results, split check/check_and_repair into separate methods, improve web displays

webapi.txt: explain that t=manifest gives verifycaps

introducer: add get_nickname_for_peerid

docs/logging.txt: explain tahoe/foolscap logging. Addresses #239.

setup: don't assert that trial is present when the Makefile is evaluated
This should fix #506, but it means that if (for some weird reason) Twisted can't be auto-installed and the find_trial.py script doesn't work, the user will get a weird failure message instead of a clean failure message explaining that trial couldn't be found.  Oh well.

Chris Galvan is working on a much nicer fix to all these issues -- see #505.

testutil.PollMixin: use a custom exception (and convert it) to avoid the ugly 'stash' cycle

mac/Makefile: more attempts to debug the buildslave failure

mac: add -verbose to the hdiutil call, to figure out why it's failing on the buildslave

setup: simplify parsing of python version number

setup: emit the version of python in the list of versions

munin: add tahoe_diskleft plugin, update spacetime/diskwatcher.tac to support it

docs: how_to_make_a_tahoe_release.txt
Just some cryptic notes to self, but if I get hit by a truck then someone else might be able to decode them.

debian: include misc/cpu-watcher.tac in the debian package

munin/tahoe_doomsday: change the graph title, 'time predictor' is more accurate than 'space predictor'

munin/tahoe_diskusage: clip the graph at zero, to prevent transient negative excursions (such as when a lot of old logfiles are deleted from a storage server's disk) from scaling the graph into unusability

CREDITS: thanks to Chris Galvan

setup: patch from Chris Galvan to build sdists with no deps in them normally, but include deps if --sumo

servermap: don't log late arrivals, and don't log DeadReferenceError at log.WEIRD

mutable: make mutable-repair work for non-verifier runs, add tests

mutable: remove work-around for a flaw in an older version of foolscap
We now require "foolscap[secure_connections] >= 0.3.0", per [source:_auto_deps.py].

docs: edit install.html a tad

misc/make_umid: little script and elisp fragment to insert umid= arguments

logging: add 'unique-message-ids' (or 'umids') to each WEIRD-or-higher log.msg call, to make it easier to correlate log message with source code

logging cleanups: lower DeadReferenceError from WEIRD (which provokes Incidents) to merely UNUSUAL, don't pre-format Failures in others

checker: make the log() function of SimpleCHKFileVerifier compatible with the log() function of its superclasses and subclasses

docs: warn that the "garbage-collection and accounting" section of architecture.txt is out of date, and clarify that "deleted" therein means ciphertext getting garbage-collected

docs/filesystem-notes.txt: add notes about enabling the 'directory index' feature on ext3 filesystems for storage server lookup speed

setup: doc string describing what the require_auto_deps() function is for

mutable/checker: log a WEIRD-level event when we see a hash failure, to trigger an Incident

immutable checker: add a status_report field

mutable/servermap: lower the priority of many log messages

web/deep-check: show the webapi runtime at the bottom of the page

CLI: tolerate blank lines in the aliases file

test_web: workaround broken HEAD behavior in twisted-2.5.0 and earlier

test_web: oops, actually use HEAD (instead of GET) in the HEAD test

web: use get_size_of_best_version for HEAD requests, provide correct content-type

mutable: add get_size_of_best_version to the interface, to simplify the web HEAD code, and tests

CLI: add 'tahoe debug corrupt-share', and use it for deep-verify tests, and fix non-deep web checker API to pass verify=true into node

IFilesystemNode: add get_storage_index(), it makes tests easier

test_system: rename Checker to ImmutableChecker, to make room for a mutable one

'tahoe debug dump-share': add --offsets, to show section offsets

test_cli: oops, fix tests after recent stdout/stderr cleanup

scripts/debug: split out dump_immutable_share

scripts/debug: clean up use of stdout/stderr

CLI: move the 'repl' command to 'tahoe debug repl'

CLI: move all debug commands (dump-share, dump-cap, find-shares, catalog-shares) into a 'debug' subcommand, and improve --help output

hush a pyflakes warning

web/directory: enable verify=true in t=deep-check

dirnode: add some deep-check logging

checker_results.problems: don't str the whole Failure, just extract the reason string

checker: add information to results, add some deep-check tests, fix a bug in which unhealthy files were not counted

mutable/checker: rearrange a bit, change checker-results to have a status_report string

mutable/servermap: add summarize_version

CLI: make 'tahoe webopen' command accept aliases like 'tahoe ls'

munin diskusage/doomsday: oops, fix labels, everything was reported in the 1hr column

munin/tahoe_overhead: don't emit non-sensicial numbers

munin: add tahoe_overhead plugin, to measure effectiveness of GC and deleting data from inactive accounts

diskwatcher.tac: include total-bytes-used

setup: remove accidentally duplicated lines from Makefile

misc/dependencies: remove the no-longer-useful foolscap-0.2.5 tarball

Makefile: avoid bare quotes, since the emacs syntax-highlighter gets confused by them

diskwatcher.tac: don't report negative timeleft

diskwatcher.tac: reduce the polling rate to once per hour

misc/spacetime: add munin plugins, add everything to .deb

diskwatcher.tac: hush pyflakes

diskwatcher.tac: add async-GET code, but leave it commented out: urlopen() seems to work better for now

cpu-watcher.tac: improve error message

disk-watcher: first draft of a daemon to use the HTTP stats interface and its new storage_server.disk_avail feature, to track changes in disk space over time

misc/cpu-watcher.tac: tolerate missing pidfiles, just skip over that sample

setup: don't attempt to escape quote marks, just delete them.  Ugly, but it works okay.

setup: escape any double-quote chars in the PATH before using the PATH to find and invoke trial

storage: include disk-free information in the stats-gatherer output

mutable: more repair tests, one with force=True to check out merging

test/common: add ShouldFailMixin

test_mutable: add comment about minimal-bandwidth repairer, comma lack of

test_mutable: factor out common setup code

mutable: start adding Repair tests, fix a simple bug

mutable.txt: add warning about out-of-date section

test_system: factor out find_shares/replace_shares to a common class, so they can be used by other tests

debian/control: update dependencies to match _auto_deps: foolscap-0.3.0, pycryptopp-0.5

bump foolscap dependency to 0.3.0, for the new incident-gathering interfaces

web: add 'report incident' button at the bottom of the welcome page

test_cli: more coverage for 'tahoe put' modifying a mutable file in-place, by filename, closes #441

check_grid.py: update to match new CLI: 'put - TARGET' instead of 'put TARGET'

test_cli: remove windows-worrying newlines from test data

test_cli.py: factor out CLITestMixin

CLI: change one-arg forms of 'tahoe put' to make an unlinked file, fix replace-mutable #441

CLI: add create-alias command, to merge mkdir and add-alias into a single (secure-from-argv-snooping) step

test_cli: add system-based tests for PUT, including a mutable put that fails/todo (#441)

tests: simplify CLI tests that use stdin, now that runner supports it

CLI: simplify argument-passing, use options= for everthing, including stdout

tests: add test that verifier notices any (randomly chosen) bit flipped in the verifiable part of any (randomly chosen) share
The currently verifier doesn't (usually) pass this randomized test, hence the TODO.

tests: test that checker doesn't cause reads on the storage servers
It would still pass the test if it noticed a corrupted share.  (It won't
notice, of course.)  But it is required to do its work without causing storage
servers to read blocks from the filesystem.

storage: make storage servers declare oldest supported version == 1.0, and storage clients declare oldest supported version == 1.0
See comments in patch for intended semantics.

tests: use the handy dandy TestCase.mktemp() function from trial to give unique and nicely named directories for each testcase

tests: don't use SignalMixin
It seems like we no longer need it, and it screws up something internal in
trial which causes trial's TestCase.mktemp() method to exhibit wrong behavior
(always using a certain test method name instead of using the current test
method name), and I wish to use TestCase.mktemp().

Of course, it is possible that the buildbot is about to tell me that we do
still require SignalMixin on some of our platforms...

setup: if the user passes a TRIALOPT env var then pass that on to trial
This is useful for --reporter=bwverbose, for example.

setup: turn back on reactor=poll for cygwin trial (else it runs out of fds)

setup: fix bug in Makefile -- ifeq, not ifneq -- so that now it sets poll reactor only if the user hasn't specified a REACTOR variable, instead of setting poll reactor only if the user has specified a REACTOR variable

setup: whoops, really remove the default reactor=poll this time