TAG allmydata-tahoe-1.2.0

relnotes.txt: update and edit for the 1.2.0 release!

known_issues.txt: fix up the argv leakage issue -- it applies to Tahoe 1.2.0.  Other editing corrections.

setup: update README to point to known_issues.txt

known_issues.txt: command-line arguments are leaked to other processes

storage: remove update_write_enabler method, it won't serve the desired purpose, and I have a better scheme in mind. See #489 for details

NEWS: add user-visible changes since the previous release

docs/CLI.txt: add a warning about leaking dircaps through argv in add-alias

simulate_load: put it in friendnet mode and print out a sum of doubled shares

known_issues.txt: edits suggested by Brian

docs: start updating the relnotes.txt in preparation for the next release

known_issues.txt: add issue #491 and renumber issues

add note to mutable-DSA.txt about the need for a ciphertext hash, for #492

immutable file download: make the ciphertext hash tree mandatory
This fixes #491 (URIs do not refer to unique files in Allmydata Tahoe).
Fortunately all of the versions of Tahoe currently in use are already producing
this ciphertext hash tree when uploading, so there is no
backwards-compatibility problem with having the downloader require it to be
present.

setup: don't use "python" in Makefile, use $(PYTHON) everywhere

test_web: test that save=true filename=unicode doesn't crash

web: for GET save=true, don't interpret the filename= arg with any character set, just copy the bytes back into the Content-Disposition header. This seems to make it maximally compatible with Firefox and IE7

first pass at a mutable repairer. not tested at all yet, but of course all existing tests pass

interfaces: add IRepairable

oops, fix import/pyflakes problems

deep-check: add webapi, add 'DEEP-CHECK' button to wui, add tests, rearrange checker API a bit

dirnode deep-check: add tests of cycles, fix failures

dirnode deep-check: rearrange traversal approach, simplify code a bit

first pass at deep-checker, no webapi yet, probably big problems with it, only minimal tests

immutable download: remove dead LiteralDownloader, now that we use filenodes for download

munin/tahoe_server_latency: add percentile to graph title

checker: re-enable checker web results (although they just say 'Healthy' right now)

move encode/upload/download/checker.py into a new immutable/ directory. No behavior changes expected.

munin/serverops: improve graph title

debian/rules: put munin plugins in /usr/share/PACKAGENAME/munin/, make them +x, remove packagename from rules to make branches easier to manage

sid/control: set python versions to 2.4,2.5 , to match feisty/control, since sid has had 2.5 available forever now

overhaul checker invocation

Removed the Checker service, removed checker results storage (both in-memory
and the tiny stub of sqlite-based storage). Added ICheckable, all
check/verify is now done by calling the check() method on filenodes and
dirnodes (immutable files, literal files, mutable files, and directory
instances).

Checker results are returned in a Results instance, with an html() method for
display. Checker results have been temporarily removed from the wui directory
listing until we make some other fixes.

Also fixed client.create_node_from_uri() to create LiteralFileNodes properly,
since they have different checking behavior. Previously we were creating full
FileNodes with LIT uris inside, which were downloadable but not checkable.

debian/changelog: remove all versions but 0.0.1, so debchange can always override it. The 'deb-X' Makefile targets should not be used; run 'make deb-X-head' instead

download: fix stopProducing failure ('self._paused_at not defined'), add tests

setup.py: cosmetic, remove trailing whitespace

munin/tahoe_stats: add server operations per second (allocate/get/writev/readv

munin/tahoe_stats: rearrange config a bit, no functional changes

munin/tahoe_server_operations: fix comments

munin: add plugin for storage-server operations per second

copy debian/sid changes to debian/feisty

debian/sid: add more docs to package, including munin plugins

misc/munin: add server_latency plugin

misc/simulate_load.py: fix bug in which only K shares were uploaded instead of N, and fix the x axis in place so that successive runs can be compared

misc/simulate_load.py: use a more realistic distribution of file sizes, and automate the formatting of the ascii art so that it fits in 70 columns and the number of files uploaded is properly marked

add misc/simulate_load.py in an attempt to understand why permuting the peerlist per each storage index matters

storage: rename the latency key names so they sort properly

add 1%,10% percentiles to the storage server latency output

misc/munin: rename plugins to make munin happy: use underscores rather than hyphens, remove .py suffix

remove obsolete tahoe-sharesperfile munin plugin

remove tahoe-dirnodes.py munin plugin, it is way obsolete

storage: add add_lease/update_write_enabler to remote API, revamp lease handling

welcome page: add link to statistics page

implement a mutable checker+verifier. No repair yet. Part of #205.

servermap.shares_available: report N too, not just k

interfaces: add verify= and repair= args to check()

'tahoe dump-share': show verify-cap too

test_mutable.py: add tests for no-servers conditions, closes #463.

web/root.py: fix minor typo

mutable: if there are no servers available, return an error, rather than hanging forever

re-enable incident-reporting, but disable it in unit tests, because they take 150% longer, and the leftover trailing timers cause errors

disable incident reporting: unit tests are failing because of the leftover post-incident timer

start using Foolscap's 'incident-logging' feature, which requires foolscap-0.2.9

test_storage: oops, update the test to match the leave-incoming/ change

catalog-shares: ignore incoming/

storage.py: leave the storage/shares/incoming/ directory in place when the bucket is closed

storage: record latency stats in a flat dict, not nested, to conform to RIStatsProvider

test_mutable.py: add more tests of post-mapupdate corruption, to support #474 testing

setup: remove bundled darcsver-1.1.2.tar

setup: setup_requires darcsver >= 1.1.5

setup: bundle darcsver-1.1.5 into misc/dependencies
Once we implement #249 (move bundled dependencies out of revision control history and make them optional) then we can stop doing this.  Until then we try not to do it unless we really need to...

docs/accounts-pubkey.txt: when sending FURLs (signed or otherwise), also send
the object that it references, to bypass the Foolscap getReferenceByName
roundtrip that would otherwise be required. Recipients must still use the
FURL for security, but pre-populating the foolscap table is a good speed-up.

introducer: move the relevant interfaces out to introducer/interfaces.py

introducer: add old (V1) introducer code, add test framework for compatibility testing

check_grid.py: make it work, move node start/stop responsibility from Makefile to script

docs: a couple of tiny edits

Makefile: minor comment

Makefile: edit check-grid comment a bit

start work on 'check-grid' target, for use in an automated prodnet tester. Just a docstring so far.

break introducer up into separate modules in the new allmydata.introducer package

web: stop using absolute links (or url.here) in forms and pages, since they break behind proxies. Partially addresses #461

test_storage: yet more coverage

test_storage.py: improve test coverage

storage.ReadBucketProxy: avoid double-start, this only affected tests

Makefile: add ubuntu/hardy deb targets

docs/debian.txt: add notes on how to build Tahoe on a debian system

storage: remove unused method

test_storage: add coverage for discard_storage

test_storage: add coverage for readonly_storage

web /statistics : show 0 instead of None for mutable files

storage: improve stats, make them accessible via webport /statistics

storage: measure latency-per-operation, calculate mean/median/percentiles

docs: add a copy of the NEWS file into docs/ since I sent out a release announcement which links to it there

webish: re-fix the addSlash issue in directory rendering

having fixed the relevant unit test not to assert incorrect behaviour of
the node when rendering directories, it's now safe to fix the latter.

test_web: fix webapi test around redirection issues

this fixes the test_web test test_POST_upload_mutable which chdir's into
a /foo subdirectory, but then later asserts that the web ui redirects the
user back to /foo, which should really be /foo/ since it's a directory.

docs: relnotes.txt: reflow to 70 cols

docs: install.html: link to allmydata.org/source/tahoe/ instead of http://allmydata.org/source/tahoe/tarballs/

TAG allmydata-tahoe-1.1.0

docs: relnotes.txt: trivial change (really just to trigger the buildbot when it comes in a bundle along with the 1.1.0 tag)

directory.py: revert that addSlash, it causes a test to fail and we don't understand it yet, and we don't need the fix quite yet

docs: relnotes.txt: re-arrange sections a bit