scripts/debug: clean up use of stdout/stderr

CLI: move the 'repl' command to 'tahoe debug repl'

CLI: move all debug commands (dump-share, dump-cap, find-shares, catalog-shares) into a 'debug' subcommand, and improve --help output

hush a pyflakes warning

web/directory: enable verify=true in t=deep-check

dirnode: add some deep-check logging

checker_results.problems: don't str the whole Failure, just extract the reason string

checker: add information to results, add some deep-check tests, fix a bug in which unhealthy files were not counted

mutable/checker: rearrange a bit, change checker-results to have a status_report string

mutable/servermap: add summarize_version

CLI: make 'tahoe webopen' command accept aliases like 'tahoe ls'

munin diskusage/doomsday: oops, fix labels, everything was reported in the 1hr column

munin/tahoe_overhead: don't emit non-sensicial numbers

munin: add tahoe_overhead plugin, to measure effectiveness of GC and deleting data from inactive accounts

diskwatcher.tac: include total-bytes-used

setup: remove accidentally duplicated lines from Makefile

misc/dependencies: remove the no-longer-useful foolscap-0.2.5 tarball

Makefile: avoid bare quotes, since the emacs syntax-highlighter gets confused by them

diskwatcher.tac: don't report negative timeleft

diskwatcher.tac: reduce the polling rate to once per hour

misc/spacetime: add munin plugins, add everything to .deb

diskwatcher.tac: hush pyflakes

diskwatcher.tac: add async-GET code, but leave it commented out: urlopen() seems to work better for now

cpu-watcher.tac: improve error message

disk-watcher: first draft of a daemon to use the HTTP stats interface and its new storage_server.disk_avail feature, to track changes in disk space over time

misc/cpu-watcher.tac: tolerate missing pidfiles, just skip over that sample

setup: don't attempt to escape quote marks, just delete them.  Ugly, but it works okay.

setup: escape any double-quote chars in the PATH before using the PATH to find and invoke trial

storage: include disk-free information in the stats-gatherer output

mutable: more repair tests, one with force=True to check out merging

test/common: add ShouldFailMixin

test_mutable: add comment about minimal-bandwidth repairer, comma lack of

test_mutable: factor out common setup code

mutable: start adding Repair tests, fix a simple bug

mutable.txt: add warning about out-of-date section

test_system: factor out find_shares/replace_shares to a common class, so they can be used by other tests

debian/control: update dependencies to match _auto_deps: foolscap-0.3.0, pycryptopp-0.5

bump foolscap dependency to 0.3.0, for the new incident-gathering interfaces

web: add 'report incident' button at the bottom of the welcome page

test_cli: more coverage for 'tahoe put' modifying a mutable file in-place, by filename, closes #441

check_grid.py: update to match new CLI: 'put - TARGET' instead of 'put TARGET'

test_cli: remove windows-worrying newlines from test data

test_cli.py: factor out CLITestMixin

CLI: change one-arg forms of 'tahoe put' to make an unlinked file, fix replace-mutable #441

CLI: add create-alias command, to merge mkdir and add-alias into a single (secure-from-argv-snooping) step

test_cli: add system-based tests for PUT, including a mutable put that fails/todo (#441)

tests: simplify CLI tests that use stdin, now that runner supports it

CLI: simplify argument-passing, use options= for everthing, including stdout

tests: add test that verifier notices any (randomly chosen) bit flipped in the verifiable part of any (randomly chosen) share
The currently verifier doesn't (usually) pass this randomized test, hence the TODO.

tests: test that checker doesn't cause reads on the storage servers
It would still pass the test if it noticed a corrupted share.  (It won't
notice, of course.)  But it is required to do its work without causing storage
servers to read blocks from the filesystem.

storage: make storage servers declare oldest supported version == 1.0, and storage clients declare oldest supported version == 1.0
See comments in patch for intended semantics.

tests: use the handy dandy TestCase.mktemp() function from trial to give unique and nicely named directories for each testcase

tests: don't use SignalMixin
It seems like we no longer need it, and it screws up something internal in
trial which causes trial's TestCase.mktemp() method to exhibit wrong behavior
(always using a certain test method name instead of using the current test
method name), and I wish to use TestCase.mktemp().

Of course, it is possible that the buildbot is about to tell me that we do
still require SignalMixin on some of our platforms...

setup: if the user passes a TRIALOPT env var then pass that on to trial
This is useful for --reporter=bwverbose, for example.

setup: turn back on reactor=poll for cygwin trial (else it runs out of fds)

setup: fix bug in Makefile -- ifeq, not ifneq -- so that now it sets poll reactor only if the user hasn't specified a REACTOR variable, instead of setting poll reactor only if the user has specified a REACTOR variable

setup: whoops, really remove the default reactor=poll this time

setup: instead of setting --reactor=poll for trial in all cases (which fails on platforms that don't have poll reactor, such as Windows and some Mac OS X), just set --reactor=poll for linux2.

setup: pass --reactor=poll to trial unless REACTOR variable is set, in which case pass --reactor=$(REACTOR)
This hopefully works around the problem that Twisted v8.1.0 has a bug when used
with pyOpenSSL v0.7 which bug causes some unit tests to spuriously fail -- see
known_issues.txt r2788:

http://allmydata.org/trac/tahoe/browser/docs/known_issues.txt?rev=2788#L122

Also it matches with the fact that --reactor=poll is required on cygwin.

setup: require secure_connections from foolscap
This causes a problem on debian sid, since the pyOpenSSL v0.6 .deb doesn't come
with .egg-info, so setuptools will not know that it is already installed and
will try to install pyOpenSSL, and if it installs pyOpenSSL v0.7, then this
will trigger the bug in Twisted v8.1.0 when used with pyOpenSSL v0.7.

http://twistedmatrix.com/trac/ticket/3218

Now the comments in twisted #3218 suggest that it happens only with the select
reactor, so maybe using --reactor=poll will avoid it.

tests: add test_system.Checker which tests basic checking (without verification) functionality

test: add testutil.flip_one_bit which flips a randomly chosen bit of the input string

tests: make it so that you can use common.py's SystemTestMixin.set_up_nodes() more than once with the same introducer

download.py: set up self._paused before registering the producer, since they might call pauseProducing right away

test/common.py: use pre-computed Tub certificates for the system-test mixin, to speed such tests up by maybe 15%. The goal is to encourage more full-grid tests.

munin/tahoe_spacetime: show 2wk data even if 4wk data is unavailable

web: add /status/?t=json, with active upload/download ops. Addresses #493.

web: make t=json stats pages use text/plain, instead of leaving it at text/html

test_system.py: factor SystemTestMixin out of SystemTest

test_system.py: modify system-test setup code in preparation for merge with common.SystemTestMixin

test_system.py: move SystemTestMixin out into common.py, where further improvements will occur

test_system.py: create SystemTestMixin, with less cruft, for faster system-like tests

TAG allmydata-tahoe-1.2.0

relnotes.txt: update and edit for the 1.2.0 release!

known_issues.txt: fix up the argv leakage issue -- it applies to Tahoe 1.2.0.  Other editing corrections.

setup: update README to point to known_issues.txt

known_issues.txt: command-line arguments are leaked to other processes

storage: remove update_write_enabler method, it won't serve the desired purpose, and I have a better scheme in mind. See #489 for details

NEWS: add user-visible changes since the previous release

docs/CLI.txt: add a warning about leaking dircaps through argv in add-alias

simulate_load: put it in friendnet mode and print out a sum of doubled shares

known_issues.txt: edits suggested by Brian

docs: start updating the relnotes.txt in preparation for the next release

known_issues.txt: add issue #491 and renumber issues

add note to mutable-DSA.txt about the need for a ciphertext hash, for #492

immutable file download: make the ciphertext hash tree mandatory
This fixes #491 (URIs do not refer to unique files in Allmydata Tahoe).
Fortunately all of the versions of Tahoe currently in use are already producing
this ciphertext hash tree when uploading, so there is no
backwards-compatibility problem with having the downloader require it to be
present.

setup: don't use "python" in Makefile, use $(PYTHON) everywhere

test_web: test that save=true filename=unicode doesn't crash

web: for GET save=true, don't interpret the filename= arg with any character set, just copy the bytes back into the Content-Disposition header. This seems to make it maximally compatible with Firefox and IE7

first pass at a mutable repairer. not tested at all yet, but of course all existing tests pass

interfaces: add IRepairable

oops, fix import/pyflakes problems

deep-check: add webapi, add 'DEEP-CHECK' button to wui, add tests, rearrange checker API a bit

dirnode deep-check: add tests of cycles, fix failures

dirnode deep-check: rearrange traversal approach, simplify code a bit

first pass at deep-checker, no webapi yet, probably big problems with it, only minimal tests

immutable download: remove dead LiteralDownloader, now that we use filenodes for download

munin/tahoe_server_latency: add percentile to graph title

checker: re-enable checker web results (although they just say 'Healthy' right now)

move encode/upload/download/checker.py into a new immutable/ directory. No behavior changes expected.