windows/Makefile: fix dependencies: windows-installer must cause windows-exe to run

Makefile: fix windows issues

Makefile: use run_with_pythonpath, move windows targets into a separate Makefile

setup.py: add 'setup.py run_with_pythonpath', to run other commands with PYTHONPATH set usefully

Makefile: convert check-auto-deps target into 'setup.py check_auto_deps'

startstop_node.py: find twistd in our supportlib if we had to build Twisted as a setuptools dependency. This is a form of cgalvan's #505 patch, simplified because now 'setup.py trial' takes care of sys.path and PYTHONPATH

rewrite parts of the Makefile in setup.py. Add 'build_tahoe' and 'trial' subcommands.

The 'make build' target now runs 'setup.py build_tahoe', which figures out
where the target 'supportlib' directory should go, and invokes 'setup.py
develop' with the appropriate arguments.

The 'make test' target now runs 'setup.py trial', which manages sys.path and
runs trial as a subroutine instead of spawning an external process. This
simplifies the case where Twisted was built as a dependent library (and thus
the 'trial' executable is not on PATH).

setup.py now manages sys.path and PYTHONPATH for its internal subcommands, so
the $(PP) prefix was removed from all Makefile targets that invoke setup.py .
For the remaining ones, the 'setup.py -q show_pythonpath' subcommand was
added to compute this prefix with python rather than with fragile
shell/Makefile syntax.

bin/tahoe: reflow error messages

mac/Makefile: remove the verbose hdiutil diagnostics now that we resolved the problem

Makefile: give setup.py develop a '--site-dirs' arg to work around the #249 setuptools bug which causes us to unnecessarily rebuild pyopenssl and other support libs installed via debian's python-support. Should be harmless on other platforms.

web: fix output=JSON, add buttons for repair/json to the 'run deep-check' form

disallow deep-check on non-directories, simplifies the code a bit

dirnode: refactor recursive-traversal methods, add stats to deep_check() method results and t=deep-check webapi

dirnode: cleanup, make get_verifier() always return a URI instance, not a string

test_system: check t=deep-stats too

test_system: add deep-check-JSON tests, fix a bug

test_system: oops, re-enable some tests that got bypassed

test_system: add deep-stats test

hush pyflakes

checker results: add output=JSON to webapi, add tests, clean up APIs
to make the internal ones use binary strings (nodeid, storage index) and
the web/JSON ones use base32-encoded strings. The immutable verifier is
still incomplete (it returns imaginary healty results).

immutable verifier: provide some dummy results so deep-check works, make the tests ignore these results until we finish it off

mutable checker: even more tests. Everything in ICheckerResults should be covered now, except for immutable-verify which is incomplete

checker results: more tests, update interface docs

mutable checker: oops, fix redefinition of 'healthy' (numshares < N, not numshares < k, which is 'recoverable' not 'healthy')

checker results: more tests, more results. immutable verifier tests are disabled until they emit more complete results

checker: add tests, add stub for immutable check_and_repair

interfaces.py: minor improvement to IDirectoryNode.set_node

mac/Makefile: upload the .dmg file with foolscap xfer-client.py instead of scp

misc/xfer-client.py: small foolscap utility to transfer a file to a waiting server

setup: add excited DEVELOPER NOTE to install.html
It should be removed before 1.3.0 release, of course...

setup: edit the text of install.html

setup: add link to the DownloadDebianPackages page
Because I want that link off of the front page of the wiki...

setup: change URL from which to get source tarballs
So that when you look at that directory you won't see distracting other things such as darcs repositories.

test_system: make log() tolerate the format= form

immutable/checker: make log() tolerate the format= form

checker: overhaul checker results, split check/check_and_repair into separate methods, improve web displays

webapi.txt: explain that t=manifest gives verifycaps

introducer: add get_nickname_for_peerid

docs/logging.txt: explain tahoe/foolscap logging. Addresses #239.

setup: don't assert that trial is present when the Makefile is evaluated
This should fix #506, but it means that if (for some weird reason) Twisted can't be auto-installed and the find_trial.py script doesn't work, the user will get a weird failure message instead of a clean failure message explaining that trial couldn't be found.  Oh well.

Chris Galvan is working on a much nicer fix to all these issues -- see #505.

testutil.PollMixin: use a custom exception (and convert it) to avoid the ugly 'stash' cycle

mac/Makefile: more attempts to debug the buildslave failure

mac: add -verbose to the hdiutil call, to figure out why it's failing on the buildslave

setup: simplify parsing of python version number

setup: emit the version of python in the list of versions

munin: add tahoe_diskleft plugin, update spacetime/diskwatcher.tac to support it

docs: how_to_make_a_tahoe_release.txt
Just some cryptic notes to self, but if I get hit by a truck then someone else might be able to decode them.

debian: include misc/cpu-watcher.tac in the debian package

munin/tahoe_doomsday: change the graph title, 'time predictor' is more accurate than 'space predictor'

munin/tahoe_diskusage: clip the graph at zero, to prevent transient negative excursions (such as when a lot of old logfiles are deleted from a storage server's disk) from scaling the graph into unusability

CREDITS: thanks to Chris Galvan

setup: patch from Chris Galvan to build sdists with no deps in them normally, but include deps if --sumo

servermap: don't log late arrivals, and don't log DeadReferenceError at log.WEIRD

mutable: make mutable-repair work for non-verifier runs, add tests

mutable: remove work-around for a flaw in an older version of foolscap
We now require "foolscap[secure_connections] >= 0.3.0", per [source:_auto_deps.py].

docs: edit install.html a tad

misc/make_umid: little script and elisp fragment to insert umid= arguments

logging: add 'unique-message-ids' (or 'umids') to each WEIRD-or-higher log.msg call, to make it easier to correlate log message with source code

logging cleanups: lower DeadReferenceError from WEIRD (which provokes Incidents) to merely UNUSUAL, don't pre-format Failures in others

checker: make the log() function of SimpleCHKFileVerifier compatible with the log() function of its superclasses and subclasses

docs: warn that the "garbage-collection and accounting" section of architecture.txt is out of date, and clarify that "deleted" therein means ciphertext getting garbage-collected

docs/filesystem-notes.txt: add notes about enabling the 'directory index' feature on ext3 filesystems for storage server lookup speed

setup: doc string describing what the require_auto_deps() function is for

mutable/checker: log a WEIRD-level event when we see a hash failure, to trigger an Incident

immutable checker: add a status_report field

mutable/servermap: lower the priority of many log messages

web/deep-check: show the webapi runtime at the bottom of the page

CLI: tolerate blank lines in the aliases file

test_web: workaround broken HEAD behavior in twisted-2.5.0 and earlier

test_web: oops, actually use HEAD (instead of GET) in the HEAD test

web: use get_size_of_best_version for HEAD requests, provide correct content-type

mutable: add get_size_of_best_version to the interface, to simplify the web HEAD code, and tests

CLI: add 'tahoe debug corrupt-share', and use it for deep-verify tests, and fix non-deep web checker API to pass verify=true into node

IFilesystemNode: add get_storage_index(), it makes tests easier

test_system: rename Checker to ImmutableChecker, to make room for a mutable one

'tahoe debug dump-share': add --offsets, to show section offsets

test_cli: oops, fix tests after recent stdout/stderr cleanup

scripts/debug: split out dump_immutable_share

scripts/debug: clean up use of stdout/stderr

CLI: move the 'repl' command to 'tahoe debug repl'

CLI: move all debug commands (dump-share, dump-cap, find-shares, catalog-shares) into a 'debug' subcommand, and improve --help output

hush a pyflakes warning

web/directory: enable verify=true in t=deep-check

dirnode: add some deep-check logging

checker_results.problems: don't str the whole Failure, just extract the reason string

checker: add information to results, add some deep-check tests, fix a bug in which unhealthy files were not counted

mutable/checker: rearrange a bit, change checker-results to have a status_report string

mutable/servermap: add summarize_version

CLI: make 'tahoe webopen' command accept aliases like 'tahoe ls'

munin diskusage/doomsday: oops, fix labels, everything was reported in the 1hr column

munin/tahoe_overhead: don't emit non-sensicial numbers

munin: add tahoe_overhead plugin, to measure effectiveness of GC and deleting data from inactive accounts

diskwatcher.tac: include total-bytes-used

setup: remove accidentally duplicated lines from Makefile

misc/dependencies: remove the no-longer-useful foolscap-0.2.5 tarball

Makefile: avoid bare quotes, since the emacs syntax-highlighter gets confused by them

diskwatcher.tac: don't report negative timeleft

diskwatcher.tac: reduce the polling rate to once per hour

misc/spacetime: add munin plugins, add everything to .deb

diskwatcher.tac: hush pyflakes