mutable: start adding Repair tests, fix a simple bug

mutable.txt: add warning about out-of-date section

test_system: factor out find_shares/replace_shares to a common class, so they can be used by other tests

debian/control: update dependencies to match _auto_deps: foolscap-0.3.0, pycryptopp-0.5

bump foolscap dependency to 0.3.0, for the new incident-gathering interfaces

web: add 'report incident' button at the bottom of the welcome page

test_cli: more coverage for 'tahoe put' modifying a mutable file in-place, by filename, closes #441

check_grid.py: update to match new CLI: 'put - TARGET' instead of 'put TARGET'

test_cli: remove windows-worrying newlines from test data

test_cli.py: factor out CLITestMixin

CLI: change one-arg forms of 'tahoe put' to make an unlinked file, fix replace-mutable #441

CLI: add create-alias command, to merge mkdir and add-alias into a single (secure-from-argv-snooping) step

test_cli: add system-based tests for PUT, including a mutable put that fails/todo (#441)

tests: simplify CLI tests that use stdin, now that runner supports it

CLI: simplify argument-passing, use options= for everthing, including stdout

tests: add test that verifier notices any (randomly chosen) bit flipped in the verifiable part of any (randomly chosen) share
The currently verifier doesn't (usually) pass this randomized test, hence the TODO.

tests: test that checker doesn't cause reads on the storage servers
It would still pass the test if it noticed a corrupted share.  (It won't
notice, of course.)  But it is required to do its work without causing storage
servers to read blocks from the filesystem.

storage: make storage servers declare oldest supported version == 1.0, and storage clients declare oldest supported version == 1.0
See comments in patch for intended semantics.

tests: use the handy dandy TestCase.mktemp() function from trial to give unique and nicely named directories for each testcase

tests: don't use SignalMixin
It seems like we no longer need it, and it screws up something internal in
trial which causes trial's TestCase.mktemp() method to exhibit wrong behavior
(always using a certain test method name instead of using the current test
method name), and I wish to use TestCase.mktemp().

Of course, it is possible that the buildbot is about to tell me that we do
still require SignalMixin on some of our platforms...

setup: if the user passes a TRIALOPT env var then pass that on to trial
This is useful for --reporter=bwverbose, for example.

setup: turn back on reactor=poll for cygwin trial (else it runs out of fds)

setup: fix bug in Makefile -- ifeq, not ifneq -- so that now it sets poll reactor only if the user hasn't specified a REACTOR variable, instead of setting poll reactor only if the user has specified a REACTOR variable

setup: whoops, really remove the default reactor=poll this time

setup: instead of setting --reactor=poll for trial in all cases (which fails on platforms that don't have poll reactor, such as Windows and some Mac OS X), just set --reactor=poll for linux2.

setup: pass --reactor=poll to trial unless REACTOR variable is set, in which case pass --reactor=$(REACTOR)
This hopefully works around the problem that Twisted v8.1.0 has a bug when used
with pyOpenSSL v0.7 which bug causes some unit tests to spuriously fail -- see
known_issues.txt r2788:

http://allmydata.org/trac/tahoe/browser/docs/known_issues.txt?rev=2788#L122

Also it matches with the fact that --reactor=poll is required on cygwin.

setup: require secure_connections from foolscap
This causes a problem on debian sid, since the pyOpenSSL v0.6 .deb doesn't come
with .egg-info, so setuptools will not know that it is already installed and
will try to install pyOpenSSL, and if it installs pyOpenSSL v0.7, then this
will trigger the bug in Twisted v8.1.0 when used with pyOpenSSL v0.7.

http://twistedmatrix.com/trac/ticket/3218

Now the comments in twisted #3218 suggest that it happens only with the select
reactor, so maybe using --reactor=poll will avoid it.

tests: add test_system.Checker which tests basic checking (without verification) functionality

test: add testutil.flip_one_bit which flips a randomly chosen bit of the input string

tests: make it so that you can use common.py's SystemTestMixin.set_up_nodes() more than once with the same introducer

download.py: set up self._paused before registering the producer, since they might call pauseProducing right away

test/common.py: use pre-computed Tub certificates for the system-test mixin, to speed such tests up by maybe 15%. The goal is to encourage more full-grid tests.

munin/tahoe_spacetime: show 2wk data even if 4wk data is unavailable

web: add /status/?t=json, with active upload/download ops. Addresses #493.

web: make t=json stats pages use text/plain, instead of leaving it at text/html

test_system.py: factor SystemTestMixin out of SystemTest

test_system.py: modify system-test setup code in preparation for merge with common.SystemTestMixin

test_system.py: move SystemTestMixin out into common.py, where further improvements will occur

test_system.py: create SystemTestMixin, with less cruft, for faster system-like tests

TAG allmydata-tahoe-1.2.0

relnotes.txt: update and edit for the 1.2.0 release!

known_issues.txt: fix up the argv leakage issue -- it applies to Tahoe 1.2.0.  Other editing corrections.

setup: update README to point to known_issues.txt

known_issues.txt: command-line arguments are leaked to other processes

storage: remove update_write_enabler method, it won't serve the desired purpose, and I have a better scheme in mind. See #489 for details

NEWS: add user-visible changes since the previous release

docs/CLI.txt: add a warning about leaking dircaps through argv in add-alias

simulate_load: put it in friendnet mode and print out a sum of doubled shares

known_issues.txt: edits suggested by Brian

docs: start updating the relnotes.txt in preparation for the next release

known_issues.txt: add issue #491 and renumber issues

add note to mutable-DSA.txt about the need for a ciphertext hash, for #492

immutable file download: make the ciphertext hash tree mandatory
This fixes #491 (URIs do not refer to unique files in Allmydata Tahoe).
Fortunately all of the versions of Tahoe currently in use are already producing
this ciphertext hash tree when uploading, so there is no
backwards-compatibility problem with having the downloader require it to be
present.

setup: don't use "python" in Makefile, use $(PYTHON) everywhere

test_web: test that save=true filename=unicode doesn't crash

web: for GET save=true, don't interpret the filename= arg with any character set, just copy the bytes back into the Content-Disposition header. This seems to make it maximally compatible with Firefox and IE7

first pass at a mutable repairer. not tested at all yet, but of course all existing tests pass

interfaces: add IRepairable

oops, fix import/pyflakes problems

deep-check: add webapi, add 'DEEP-CHECK' button to wui, add tests, rearrange checker API a bit

dirnode deep-check: add tests of cycles, fix failures

dirnode deep-check: rearrange traversal approach, simplify code a bit

first pass at deep-checker, no webapi yet, probably big problems with it, only minimal tests

immutable download: remove dead LiteralDownloader, now that we use filenodes for download

munin/tahoe_server_latency: add percentile to graph title

checker: re-enable checker web results (although they just say 'Healthy' right now)

move encode/upload/download/checker.py into a new immutable/ directory. No behavior changes expected.

munin/serverops: improve graph title

debian/rules: put munin plugins in /usr/share/PACKAGENAME/munin/, make them +x, remove packagename from rules to make branches easier to manage

sid/control: set python versions to 2.4,2.5 , to match feisty/control, since sid has had 2.5 available forever now

overhaul checker invocation

Removed the Checker service, removed checker results storage (both in-memory
and the tiny stub of sqlite-based storage). Added ICheckable, all
check/verify is now done by calling the check() method on filenodes and
dirnodes (immutable files, literal files, mutable files, and directory
instances).

Checker results are returned in a Results instance, with an html() method for
display. Checker results have been temporarily removed from the wui directory
listing until we make some other fixes.

Also fixed client.create_node_from_uri() to create LiteralFileNodes properly,
since they have different checking behavior. Previously we were creating full
FileNodes with LIT uris inside, which were downloadable but not checkable.

debian/changelog: remove all versions but 0.0.1, so debchange can always override it. The 'deb-X' Makefile targets should not be used; run 'make deb-X-head' instead

download: fix stopProducing failure ('self._paused_at not defined'), add tests

setup.py: cosmetic, remove trailing whitespace

munin/tahoe_stats: add server operations per second (allocate/get/writev/readv

munin/tahoe_stats: rearrange config a bit, no functional changes

munin/tahoe_server_operations: fix comments

munin: add plugin for storage-server operations per second

copy debian/sid changes to debian/feisty

debian/sid: add more docs to package, including munin plugins

misc/munin: add server_latency plugin

misc/simulate_load.py: fix bug in which only K shares were uploaded instead of N, and fix the x axis in place so that successive runs can be compared

misc/simulate_load.py: use a more realistic distribution of file sizes, and automate the formatting of the ascii art so that it fits in 70 columns and the number of files uploaded is properly marked

add misc/simulate_load.py in an attempt to understand why permuting the peerlist per each storage index matters

storage: rename the latency key names so they sort properly

add 1%,10% percentiles to the storage server latency output

misc/munin: rename plugins to make munin happy: use underscores rather than hyphens, remove .py suffix

remove obsolete tahoe-sharesperfile munin plugin

remove tahoe-dirnodes.py munin plugin, it is way obsolete

storage: add add_lease/update_write_enabler to remote API, revamp lease handling

welcome page: add link to statistics page

implement a mutable checker+verifier. No repair yet. Part of #205.

servermap.shares_available: report N too, not just k

interfaces: add verify= and repair= args to check()

'tahoe dump-share': show verify-cap too

test_mutable.py: add tests for no-servers conditions, closes #463.

web/root.py: fix minor typo

mutable: if there are no servers available, return an error, rather than hanging forever

re-enable incident-reporting, but disable it in unit tests, because they take 150% longer, and the leftover trailing timers cause errors

disable incident reporting: unit tests are failing because of the leftover post-incident timer