docs/performance.txt: split out CPU from network, expand on mutable costs

docs/FTP: the Twisted patch (t3462) has landed, will be in the next release

Change OphandleTable to use a deterministic clock, so we can test it

To test the changes for #577, we need a deterministic way to simulate
the passage of long periods of time. twisted.internet.task.Clock seems,
from my Googling, to be the way to go for this functionality. I changed
a few things so that OphandleTable would use twisted.internet.task.Clock
when testing:

  * WebishServer.__init___ now takes an optional 'clock' parameter,
  * which it passes to the root.Root instance it creates.
  * root.Root.__init__ now takes an optional 'clock' parameter, which it
    passes to the OphandleTable.__init__ method.
  * OphandleTable.__init__ now takes an optional 'clock' parameter. If
    it is provided, and it isn't None, its callLater method will be used
    to schedule ophandle expirations (as opposed to using
    reactor.callLater, which is what OphandleTable does normally).
  * The WebMixin object in test_web.py now sets a self.clock parameter,
    which is a twisted.internet.task.Clock that it feeds to the
    WebishServer it creates.

Tests using the WebMixin can control the passage of time in
OphandleTable by accessing self.clock.

Add tests for the ophandle expiration behavior in #577

Update docs/frontends/webapi.txt to reflect the new expiration times in #577

Increase ophandle expiration times, per #577

More cleanups to test_cli using new utilities for reading and writing files.

Fix race conditions and missing callback in allmydata.test.test_cli.Cp.test_copy_using_filecap, add utilities for one-liner reading and writing of files, and fix cases in test_cli where files were not being closed after writing.

setup: comment-out the dependency on pycrypto, see #953

Add tests for #939

Alter CLI utilities to handle nonexistent aliases better

adding pycrypto to the auto dependencies

docs running.html - "tahoe run ." does not work with the current installation, replaced with "tahoe start ."

web/storage.py: display total-seen on the last-complete-cycle line. For #940.

code coverage: replace figleaf with coverage.py, should work on py2.6 now.

It still lacks the right HTML report (the builtin report is very pretty, but
lacks the "lines uncovered" numbers that I want), and the half-finished
delta-from-last-run measurements.

More comprehensive changes and ticket references for NEWS

docs: install.html: link into Python 2.5.5 download page

TAG allmydata-tahoe-1.6.0

docs: install.html: recommend Python 2.5 (because I can build extension modules for it with mingw), architecture.txt: point out that our Proof of Retrievability feature is client-side-only

architecture.txt: remove trailing whitespace, wrap lines: no content changes

docs: a couple of small edits to release notes (thanks Peter)

docs: CREDITS: where due

docs: a few small edits to performance.txt and README

Fill in 'docs/performance.txt' with some performance information

docs: a few edits to architecture.txt, most significantly highlighting "future work" to avoid confusing it with the current version, and adding a "future work" about a random-sampling Proof of Retrievability verifier

docs: a few edits and updates to relnotes.txt, relnotes-short.txt, and NEWS in preparation for v1.6.0

Document leakage of cap URLs via phishing filters in known_issues.txt

docs: updates to relnotes.txt, NEWS, architecture, historical_known_issues, install.html, etc.

immutable: downloader accepts notifications of buckets even if those notifications arrive after he has begun downloading shares.
This can be useful if one of the ones that he has already begun downloading fails. See #287 for discussion. This fixes part of #287 which part was a regression caused by #928, namely this fixes fail-over in case a share is corrupted (or the server returns an error or disconnects). This does not fix the related issue mentioned in #287 if a server hangs and doesn't reply to requests for blocks.

tests: don't require tahoe to run with no noise if we are using an old twisted that emits DeprecationWarnings

Use if instead of assert to check for twisted ftp patch

tests: stop being surprised that Nevow no longer prints out warnings when it tries to find its static files
Unless we are using a sufficiently new version of Nevow, in which case if it prints out warnings then this is a hard test failure. :-)

cli: suppress DeprecationWarnings emitted from importing nevow and twisted. Fixes #859

Improvements to test_unknownnode to cover invalid cap URIs with known prefixes

Fix invalid trailing commas in JSON example

Improvements to test_hung_server, and fix for status updates in download.py

immutable: fix bug in tests, change line-endings to unix style, add comment

New tests for #928

immutable: download from the first servers which provide at least K buckets instead of waiting for all servers to reply
This should put an end to the phenomenon I've been seeing that a single hung server can cause all downloads on a grid to hang.  Also it should speed up all downloads by (a) not-waiting for responses to queries that it doesn't need, and (b) downloading shares from the servers which answered the initial query the fastest.
Also, do not count how many buckets you've gotten when deciding whether the download has enough shares or not -- instead count how many buckets to *unique* shares that you've gotten.  This appears to improve a slightly weird behavior in the current download code in which receiving >= K different buckets all to the same sharenumber would make it think it had enough to download the file when in fact it hadn't.
This patch needs tests before it is actually ready for trunk.

Eliminate 'foo if test else bar' syntax that isn't supported by Python 2.4

Fix example JSON in webapi.txt that cannot occur in practice

Add mutable field to t=json output for unknown nodes, when mutability is known

Show -IMM and -RO suffixes for types of immutable and read-only unknown nodes in directory listings

Fix inaccurate comment in test_mutant_dirnodes_are_omitted

docs: update relnotes.txt for Tahoe-LAFS v1.6

Address comments by Kevan on 833 and add test for stripping spaces

Miscellaneous documentation, test, and code formatting tweaks.

Prevent mutable objects from being retrieved from an immutable directory, and associated forward-compatibility improvements.

test_runner: cleanup, refactor common code into a non-executable method

Having both test_node() and test_client() (one of which calls the other) felt
confusing to me, so I changed it to have test_node(), test_client(), and a
common do_create() helper method.

scripts/runner.py: simplify David-Sarah's clever grouped-commands usage trick

tahoe backup: skip all symlinks, with warning. Fixes #850, addresses #641.

NEWS: update with all recent user-visible changes

"tahoe backup": fix --exclude-vcs docs to include Git

docs: fix references to --no-storage, explanation of [storage] section

docs: further CREDITS level-ups for Nils, Kevan, David-Sarah

Patch to accept t=set-children as well as t=set_children

Fix boodlegrid use of set_children

ftpd: clearer error message if Twisted needs a patch (by Nils Durner)

Add 'docs/performance.txt', which (for the moment) describes mutable file performance issues

docs: more CREDITS for François, Kevan, and David-Sarah

tahoe_backup.py: display warnings on errors instead of stopping the whole backup. Fix #729.

This patch displays a warning to the user in two cases:

  1. When special files like symlinks, fifos, devices, etc. are found in the
     local source.

  2. If files or directories are not readables by the user running the 'tahoe
     backup' command.

In verbose mode, the number of skipped files and directories is printed at the
end of the backup.

Exit status returned by 'tahoe backup':

  - 0 everything went fine
  - 1 the backup failed
  - 2 files were skipped during the backup

Warn about test failures due to setting FLOG* env vars

Message saying that we couldn't find bin/tahoe should say where we looked

Change running.html to describe 'tahoe run'

cli: merge the better version of David-Sarah's split-usage-and-help patch with the earlier version that I mistakenly committed

Split tahoe --help options into groups.

cli: split usage strings into groups (patch by David-Sarah Hopwood)

Add create-node CLI command, and make create-client equivalent to create-node --no-storage (fixes #760)

Remove replace= parameter to mkdir-immutable and mkdir-with-children

contrib/fuse/runtests.py: Fix #888, configure settings in tahoe.cfg and don't treat warnings as failure

Fix a few bitrotten pieces in the FUSE test script.  It now configures tahoe
node settings by editing tahoe.cfg which is the new supported method.

It alos tolerate warnings issued by the mount command, the cause of these
warnings is the same as in #876 (contrib/fuse/runtests.py doesn't tolerate
deprecations warnings).

Fix webapi t=mkdir with multpart/form-data, as on the Welcome page. Closes #919.

tahoe_add_alias.py: minor refactoring

test_dirnode.py: reduce scope of a Client instance, suggested by Kevan.

test_provisioning: STAN is not always a list. Fix by David-Sarah Hopwood.

web/directory.py mkdir-immutable: hush pyflakes, add TODO for #903 behavior

hush pyflakes-0.4.0 warnings: slightly less-trivial fixes. Closes #900.

This includes one fix (in test_web) which was testing the wrong thing.

hush pyflakes-0.4.0 warnings: remove trivial unused variables. For #900.

tahoe add-alias/create-alias: don't corrupt non-newline-terminated alias
file. Closes #741.

change docs and --help to use "grid" instead of "virtual drive": closes #892.

Thanks to David-Sarah Hopwood for the patch.

backupdb.txt: fix ST_CTIME reference

client.py: fix/update comments on KeyGenerator

Clean up log.err calls, for one of the issues in #889.

allmydata.util.log.err() either takes a Failure as the first positional
argument, or takes no positional arguments and must be invoked in an
exception handler. Fixed its signature to match both foolscap.logging.log.err
and twisted.python.log.err . Included a brief unit test.

tidy up DeadReferenceError handling, ignore them in add_lease calls

Stop checking separately for ConnectionDone/ConnectionLost, since those have
been folded into DeadReferenceError since foolscap-0.3.1 . Write
rrefutil.trap_deadref() in terms of rrefutil.trap_and_discard() to improve
code coverage.

NEWS: improve "tahoe backup" notes, mention first-backup-after-upgrade duration

Thanks to Francois Deppierraz for the suggestion.

test_repairer: add (commented-out) test_each_byte, to see exactly what the
Verifier misses

The results (described in #819) match our expectations: it misses corruption
in unused share fields and in most container fields (which are only visible
to the storage server, not the client). 1265 bytes of a 2753 byte
share (hosting a 56-byte file with an artifically small segment size) are
unused, mostly in the unused tail of the overallocated UEB space (765 bytes),
and the allocated-but-unwritten plaintext_hash_tree (480 bytes).

repairer: fix some wrong offsets in the randomized verifier tests, debugged by Brian
fixes #819

test_repairer: fix colliding basedir names, which caused test inconsistencies

repairer: add deterministic test for #819, mark as TODO

contrib/fuse/runtests.py: Tolerate the tahoe CLI returning deprecation warnings

Depending on the versions of external libraries such as Twisted of Foolscap,
the tahoe CLI can display deprecation warnings on stdout.  The tests should
not interpret those warnings as a failure if the node is in fact correctly
started.

See http://allmydata.org/trac/tahoe/ticket/859 for an example of deprecation
warnings.

fixes #876

contrib: fix fuse_impl_c to use new Python API
original patch by Thomas Delaet, fixed by François, reviewed by Brian, committed by me

docs: CREDITS: add David-Sarah to the CREDITS file

mutable/publish: don't loop() right away upon DeadReferenceError. Closes #877

The bug was that a disconnected server could cause us to re-enter the initial
loop() call, sending multiple queries to a single server, provoking an
incorrect UCWE. To fix it, stall the loop() with an eventual.fireEventually()

immutable/checker.py: oops, forgot some imports. Also hush pyflakes.

mutable repair: return successful=False when numshares<k (thus repair fails),
instead of weird errors. Closes #874 and #786.

Previously, if the file had 0 shares, this would raise TypeError as it tried
to call download_version(None). If the file had some shares but fewer than
'k', it would incorrectly raise MustForceRepairError.

Added get_successful() to the IRepairResults API, to give repair() a place to
report non-code-bug problems like this.

node.py/interfaces.py: minor docs fixes

NEWS: fix 1.4.1 announcement w.r.t. add-lease behavior in older releases

checker: don't let failures in add-lease affect checker results. Closes #875.

Mutable servermap updates and the immutable checker, when run with
add_lease=True, send both the do-you-have-block and add-lease commands in
parallel, to avoid an extra round trip time. Many older servers have problems
with add-lease and raise various exceptions, which don't generally matter.
The client-side code was catching+ignoring some of them, but unrecognized
exceptions were passed through to the DYHB code, concealing the DYHB results
from the checker, making it think the server had no shares.

The fix is to separate the code paths. Both commands are sent at the same
time, but the errback path from add-lease is handled separately. Known
exceptions are ignored, the others (both unknown-remote and all-local) are
logged (log.WEIRD, which will trigger an Incident), but neither will affect
the DYHB results.

The add-lease message is sent first, and we know that the server handles them
synchronously. So when the checker is done, we can be sure that all the
add-lease messages have been retired. This makes life easier for unit tests.

test_cli: verify fix for "tahoe get" not creating empty file on error (#121)

addendum to "Fix 'tahoe ls' on files (#771)"

tahoe_ls.py: tolerate missing metadata
web/filenode.py: minor cleanups
test_cli.py: test 'tahoe ls FILECAP'

Fix 'tahoe ls' on files (#771). Patch adapted from Kevan Carstensen.

web/filenode.py: also serve edge metadata when using t=json on a
                 DIRCAP/childname object.
tahoe_ls.py: list file objects as if we were listing one-entry directories.
             Show edge metadata if we have it, which will be true when doing
             'tahoe ls DIRCAP/filename' and false when doing 'tahoe ls
             FILECAP'