TAG allmydata-tahoe-1.3.0

docs: a few last-minute edits to the docs for 1.3.0 (also this patch will accompany the tag and conveniently trigger the buildbots to build a 1.3.0 version)

setup: remove attempt to automatically satisfy dependency on pywin32

NEWS: mention #625 (deep-repair breaks when it tries to repair a read-only directory)

test_dirnode: #625 run deep-check on a readonly dirnode too

docs: CREDITS

figleaf_htmlizer: fix order of summary counters

Makefile: minor, add .PHONY declarations

figleaf_htmlizer: oops, re-ignore files that aren't under root, like code in auto-built eggs

setup: relnotes.txt mention the iPhone app and CIFS/SMB (tahoe-w32-client)

setup: make the "full version string" be "allmydata-tahoe/1.3.0" instead of "allmydata-tahoe-1.3.0" and the UserAgent string of the cli be "allmydata-tahoe/1.3.0 (tahoe-client)"
This is webbish.  Thanks to kpreid for suggesting it.

docs: relnotes.txt final (!?) update for 1.3.0!

docs: known_issues.txt: my version of #615, remove "issue numbers", edits, move tahoe-1.1.0 issues to historical

docs: CREDITS

Makefile: add figleaf-delta-output, to render figleaf coverage differences with a previous run

figleaf_htmlizer: emit stats to stdout, so buildbot can see it

figleaf_htmlizer: render changes in coverage relative to a previous test run using --old-coverage

immutable repairer: fix DownUpConnector so that it satisfies short reads the were requested after the last write and before the close
This is probably the cause of the very rare "loss of progress" bug.  This is tested by unit tests.  A recent patch changed this to errback instead of losing progress, and now this patch is changing it again to return a short read instead of errbacking.  Returning a short read is what the uploader (in encode.py) is expecting, when it is reading the last block of the ciphertext, which might be shorter than the other blocks.

immutable repairer: add an assertion that a certain value in this tricky function is always what I think it is

immutable repairer: add tests of how it handles short reads

nodeadmin: node stops itself if a hotline file hasn't been touched in 60 seconds now, instead of in 40 seconds
A test failed on draco (MacPPC) because it took 49 seconds to get around to running the test, and the node had already stopped itself when the hotline file was 40 seconds old.

immutable repairer: errback any pending readers of DownUpConnectorwhen it runs out of bytes, and test that fact

figleaf_htmlizer: more rearranging, behavior should still be unchanged

figleaf_htmlizer: break it up into subfunctions, behavior should still be unchanged

figleaf_htmlizer: rewrite in class form, behavior should be the same as before

figleaf_htmlizer: rewrite with twisted.python.usage, remove logging: should behave the same as before

figleaf_htmlizer: expand tabs, fix to 4-space indents. No functional changes.

Makefile: include the figleaf pickle in the uploaded coverage data, for later differential analysis

Makefile: fix test-clean, by ignoring _appname.py and removing src/allmydata_tahoe.egg-info

setup: from the perspective of darcs, src/allmydata/_appname.py is a very boring file, indeed

versioning: include an "appname" in the application version string in the versioning protocol, and make that appname be controlled by setup.py
It is currently hardcoded in setup.py to be 'allmydata-tahoe'.  Ticket #556 is to make it configurable by a runtime command-line argument to setup.py: "--appname=foo", but I suddenly wondered if we really wanted that and at the same time realized that we don't need that for tahoe-1.3.0 release, so this patch just hardcodes it in setup.py.
setup.py inspects a file named 'src/allmydata/_appname.py' and assert that it contains the string "__appname__ = 'allmydata-tahoe'", and creates it if it isn't already present.  src/allmydata/__init__.py import _appname and reads __appname__ from it.  The rest of the Python code imports allmydata and inspects "allmydata.__appname__", although actually every use it uses "allmydata.__full_version__" instead, where "allmydata.__full_version__" is created in src/allmydata/__init__.py to be:

__full_version__ = __appname + '-' + str(__version__).

All the code that emits an "application version string" when describing what version of a protocol it supports (introducer server, storage server, upload helper), or when describing itself in general (introducer client), usese allmydata.__full_version__.

This fixes ticket #556 at least well enough for tahoe-1.3.0 release.

setup: add new darcsver-1.2.1 which includes Brian's and Nils Durner's patch to ignore non-ascii chars in XML output

backupdb: cosmetic: capitalize the no-pysqlite instructions properly. Thanks to Terrell Russell for the catch.

test_repairer: disable repair-from-corruption tests until other things are improved well enough to make it useful

NEWS: explain limitations of the new repairer

setup: removed bundled darcsver-1.2.0
(I'm about to add a new bundled darcsver-1.2.1, but I want to see what the buildbots will do when there is no bundled darcsver present.)

trivial: whitespace

docs/known_issues: mention #615 javascript-vs-frames, for zooko to improve/rewrite

storage: make add-lease work, change default ownernum=1 since 0 is reserved to mean 'no lease here'

#620: storage: allow mutable shares to be deleted, with a writev where new_length=0

test_cli.Backup: insert some stalls to make sure two successive backups get distinct timestamps, avoiding intermittent failures

#619: make 'tahoe backup' complain and refuse to run if sqlite is unavailable and --no-backupdb is not passed

NEWS: point out that 'tahoe backup' requires a 1.3.0-or-later client node

tests: increase the default timeout for SystemTestMixin -based tests to 300 seconds, since our slower buildslaves sometimes take longer than the default 120s

immutable: repairer: add a simple test to exercise the "leftover" code path, fix the bug (and rename the variable "leftover" to "extra")

docs: not-quite-final version of relnotes.txt for tahoe-1.3.0

docs: small edit to about.html

docs: NEWS: move the most exciting items to the top, break them out of less exciting categories, update a couple of stale bits, and a touch of editing

docs: edit about.html

immutable: tighten preconditions -- you can write empty strings or read zero bytes, and add the first simple unit test of DownUpConnector

immutable: tests: the real WRITE_LEEWAY is 35 (it was a mistake to move it from 10 to 35 earlier -- I had seen a failure in which it took 35 times as many writes as I thought were optimal, but I misread and thought it took only 20 times as many)

immutable: defensive programming: assert that the encrypted readable gave you no more than the number of bytes you asked for
(There is a bug in the current DownUpConnector which can cause it to give more bytes than you asked for on one request, and then less on the next, effectively shifting some of the bytes to an earlier request, but I think this bug never gets triggered in practice.)

docs: suggest Python 2.5 -- Python 2.6 is not as well tested yet

immutable: tests: sigh, raise, again the limit of how many extra writes you can do and still pass this test
Obviously requiring the code under test to perform within some limit isn't very meaningful if we raise the limit whenever the test goes outside of it.
But I still don't want to remove the test code which measures how many writes (and, elsewhere, how many reads) a client does in order to fulfill these duties.
Let this number -- now 20 -- stand as an approximation of the inefficiency of our code divided by my mental model of how many operations are actually optimal for these duties.

immutable: tests: assert that verifier gives a clean bill of health after corruption and repair (the previous patch mistakenly did this only after deletion and repair), and also test whether deleting seven other shares and then downloading works.  Also count the number of shares stored in the local filesystem.

immutable: test: add a test after attempting to repair from corruption: does a full verify run give the file a clean bill of health?  If not, the you haven't successfully repaired it.
This will make the repairer tests more consistent -- less accidentally passing due to getting lucky.

immutable: tests: put shares back to their pristine condition in between each test of corrupting-and-repairing them
This is important, because if the repairer doesn't completely repair all kinds of corruption (as the current one doesn't), then the successive tests get messed up by assuming that the shares were uncorrupted when the test first set about to corrupt them.

upload: add a think-of-the-compatibility note to UploadResults

helper #609: uploading client should ignore old helper's UploadResults, which were in a different format

test_runner: skip all spawnProcess-using tests on cygwin, since spawnProcess just hangs forever

test_runner.py: revert the CreateNode section to using runner() inline, rather than spawning a process, to get more precise coverage

storage #596: announce 'tolerates-immutable-read-overrun' to the version announcement, to indicate that a read() on an immutable share where offset+length is beyond the end of the file will return a truncated string instead of raising an exception

test_upload: add test of maximum-immutable-share-size, to complete the last item of #538

docs/specifications: add an outline of the spec documents we'd like to have some day

test_cli.Backup: capture stderr when sqlite is unavailable

docs: add mac/README.txt to explain the first few basic facts about what the files are in this directory

test_repairer: wrap comments to 80cols, my laptop does not have a wide screen. No functional changes.

immutable/checker: wrap comments to 80cols, my laptop does not have a wide screen. No functional changes.

test/common.py: in share-layout-reading code, use '>L' consistently, since '>l' doesn't specify the signedness and the windows tests appear to be failing with an endianness-like problem (version==0x01000000). Also use binary mode when editing sharefiles

test_cli: increase timeout on test_backup, since our dapper buildslave is really slow

backupdb.py: catch OperationalError on duplicate-insert too, since pysqlite2 on dapper raises it instead of IntegrityError

test_backupdb.py: reset the check-timers after one step, otherwise a slow host can false-fail

NEWS: announce the #598 'tahoe backup' command

docs/CLI: document 'tahoe backup'

test_cli.backup: oops, fix test to work even when sqlite is unavailable

#598: add cli+backupdb tests, improve user display, update docs, move docs out of proposed/

#598: add backupdb to 'tahoe backup' command, enable it by default

add sqlite-based backupdb, for #598 and others (including 'tahoe cp'). Not enabled yet.

setup: require new bundled setuptools-0.6c12dev

setup: bundle setuptools-0.6c12dev (our own toothpick of setuptools) this version completes my patch to fix bugs.python.org/setuptools/issue54 , which is necessary for tahoe to build with --prefix=support without doing a lot of PYTHONPATH gymnastics around the call to setup.py

setup: remove old bundled setuptools-0.6c11dev (our own toothpick of setuptools)

setup: add a case to execute "python .../twistd.py" if "twistd" is not found

doc: specify Python >= 2.4.2

setup: merge recent patches that change the set of bundled tools in misc/dependencies/

setup: bundle new setuptools_trial

setup: remove old bundled setuptools_trial

setup: bundle new setuptools_darcs

setup: remove old bundled setuptools_darcs

roll back the upgrade of the bundled setuptools_trial from 0.5 to 0.5.1
Upgrading setuptools trial in that way leads to a very tricky problem in setuptools's handling of recursive installation of the build-time dependencies of build-time dependencies...

rolling back:

Tue Feb  3 22:17:18 MST 2009  zooko@zooko.com
  * setup: bundle new setuptools_trial-0.5.1

    A ./misc/dependencies/setuptools_trial-0.5.1.tar
Tue Feb  3 22:17:32 MST 2009  zooko@zooko.com
  * setup: remove old bundled setuptools_trial

    R ./misc/dependencies/setuptools_trial-0.5.tar

setup: remove a couple of horrible work-arounds in setup.py now that we rely on our own toothpick of setuptools which fixes those issues
also specify that we need our latest revision (11dev) of our toothpick of setuptools
also *always* setup_require setuptools_darcs at module import time.  Formerly we added setup_require setuptools_darcs only if the PKG-INFO file were not already created.  There is some weird, irreproducible bug to do with setuptool_darcs, and I guess that the fact that whether it is required or not depends on that autogenerated file might have something to do with it.  Anyway, this is simpler.

setup: remove old bundled setuptools_trial

setup: bundle new setuptools_trial-0.5.1

setup: bundle new setuptools_darcs-1.2.5

setup: remove old bundled setuptools_darcs

setup: remove bundled darcsver in gzipped format

setup: bundle darcsver in ungzipped format

docs: mention issues using flogtool on Windows

webapi: add verifycap (spelled 'verify_url') to the t=json output on files and directories. Closes #559.

setup: stop trying to add specific dirs to site-dirs to work-around setuptools #17

setup: require and automatically use setuptools-0.6c11dev (our own toothpick of setuptools) which is bundled