Retrieve: rewrite flow-control: use a top-level loop() to catch all errors

This ought to close the potential for dropped errors and hanging downloads.
Verify needs to be examined, I may have broken it, although all tests pass.

Retrieve: merge _validate_active_prefixes into _add_active_peers

Retrieve: remove the initial prefix-is-still-good check

This check needs to be done with each fetch from the storage server, to
detect when someone has changed the share (i.e. our servermap goes stale).
Doing it just once at the beginning of retrieve isn't enough: a write might
occur after the first segment but before the second, etc.

_try_to_validate_prefix() was not removed: it will be used by the future
check-with-each-fetch code.

test_mutable.Roundtrip.test_corrupt_all_seqnum_late was disabled, since it
fails until this check is brought back. (the corruption it applies only
touches the prefix, not the block data, so the check-less retrieve actually
tolerates it). Don't forget to re-enable it once the check is brought back.

MDMFSlotReadProxy: remove the queue

This is a neat trick to reduce Foolscap overhead, but the need for an
explicit flush() complicates the Retrieve path and makes it prone to
lost-progress bugs.

Also change test_mutable.FakeStorageServer to tolerate multiple reads of the
same share in a row, a limitation exposed by turning off the queue.

rearrange Retrieve: first step, shouldn't change order of execution

CLI: test_cli.py -- remove an unnecessary call in test_mkdir_mutable_type. refs #1527

CLI: improve test for 'tahoe mkdir --mutable-type='. refs #1527

CLI: make the --mutable-type option value for 'tahoe put' and 'tahoe mkdir' case-insensitive, and change --help for these commands accordingly. fixes #1527

cli: make --mutable-type imply --mutable in 'tahoe put'

SFTP: add a comment about a subtle interaction between OverwriteableFileConsumer and GeneralSFTPFile, and test the case it is commenting on.

improve the storage/mutable.py asserts even more

storage/mutable.py: special characters in struct.foo arguments indicate standard as opposed to native sizes, we should be using these characters in these asserts

docs/write_coordination.rst: fix formatting and add more specific warning about access via sshfs.

test_mutable.Version: consolidate some tests, reduce runtime from 19s to 15s

mutable/retrieve: handle the case where self._read_length is 0.

Note that the downloader will still fetch a segment for a zero-length
read, which is wasteful. Fixing that isn't specifically required to fix
#1512, but it should probably be fixed before 1.9.

NEWS: added summary of all changes since 1.8.2. Needs editing.

test_mutable.Update: only upload the files needed for each test. refs #1500

This first step shaves 15% off the runtime: from 139s to 119s on my laptop.
It also fixes a couple of places where a Deferred was being dropped, which
would cause two tests to run in parallel and also confuse error reporting.

Let Uploader retain History instead of passing it into upload(). Fixes #1079.

This consistently records all immutable uploads in the Recent Uploads And
Downloads page, regardless of code path. Previously, certain webapi upload
operations (like PUT /uri/$DIRCAP/newchildname) failed to pass the History
object and were left out.

Fix mutable publish/retrieve timing status displays. Fixes #1505.

publish:
* encrypt and encode times are cumulative, not just current-segment

retrieve:
* same for decrypt and decode times
* update "current status" to include segment number
* set status to Finished/Failed when download is complete
* set progress to 1.0 when complete

More improvements to consider:
* progress is currently 0% or 100%: should calculate how many segments are
  involved (remembering retrieve can be less than the whole file) and set it
  to a fraction
* "fetch" time is fuzzy: what we want is to know how much of the delay is not
  our own fault, but since we do decode/decrypt work while waiting for more
  shares, it's not straightforward

Teach 'tahoe debug catalog-shares about MDMF. Closes #1507.

debug.py: remove some dead comments

hush pyflakes

MutableFileNode.set_downloader_hints: never depend upon order of dict.values()

The old code was calculating the "extension parameters" (a list) from the
downloader hints (a dictionary) with hints.values(), which is not stable, and
would result in corrupted filecaps (with the 'k' and 'segsize' hints
occasionally swapped). The new code always uses [k,segsize].

layout.py: fix MDMF share layout documentation

teach 'tahoe debug dump-share' about MDMF and offsets. refs #1507

test_mutable.Version.test_debug: use splitlines() to fix buildslaves

Any slave running in a directory with spaces in the name was miscounting
shares, causing the test to fail.

test_mutable.Version: exercise 'tahoe debug find-shares' on MDMF. refs #1507

Also changes NoNetworkGrid to put shares in storage/shares/ .

test_mutable.py: oops, missed a .todo

test_mutable: merge davidsarah's patch with my Version refactorings

Make the immutable/read-only constraint checking for MDMF URIs identical to that for SSK URIs. refs #393

Additional tests for MDMF URIs and for zero-length files. refs #393

Additional tests for zero-length partial reads and updates to mutable versions. refs #393

test_mutable.Version: factor out some expensive uploads, save 25% runtime

SDMF: update filenode with correct k/N after Retrieve. Fixes #1510.

Without this, we get a regression when modifying a mutable file that was
created with more shares (larger N) than our current tahoe.cfg . The
modification attempt creates new versions of the (0,1,..,newN-1) shares, but
leaves the old versions of the (newN,..,oldN-1) shares alone (and throws a
assertion error in SDMFSlotWriteProxy.finish_publishing in the process).

The mixed versions that result (some shares with e.g. N=10, some with N=20,
such that both versions are recoverable) cause problems for the Publish code,
even before MDMF landed. Might be related to refs #1390 and refs #1042.

layout.py: annotate assertion to figure out 'tahoe backup' failure

Add 'tahoe debug dump-cap' support for MDMF, DIR2-CHK, DIR2-MDMF. refs #1507.

This also adds tests for all those cases, and fixes an omission in uri.py
that broke parsing of DIR2-MDMF-Verifier and DIR2-CHK-Verifier.

MDMF: more writable/writeable consistentifications

MDMF: s/Writable/Writeable/g, for consistency with existing SDMF code

setup.cfg: remove no-longer-supported test_mac_diskimage alias. refs #1479

test_mutable.Update: increase timeout from 120s to 400s, slaves are failing

tests: fix check_memory test
fixes #1503

TAG allmydata-tahoe-1.9.0a1

touch NEWS to trigger buildslaves

test_mutable.Update: remove .timeout overrides, otherwise tests ERROR

blacklist.py: add read() method too, for completeness

Implementation, tests and docs for blacklists. This version allows listing directories containing a blacklisted child. Inclusion of blacklist.py fixed. fixes #1425

mutable/layout.py: fix unused import. refs #393

mutable/retrieve.py: cosmetics and remove a stale comment. refs #393

mutable/filenode.py: don't fetch more segments than necesasry to update the file

test/test_mutable: test for incorrect div_ceil equations

mutable/retrieve.py: use floor division to calculate segment boundaries, don't fetch more segments than necessary

mdmf: clean up boolean expressions, correct typos, remove self._paused, and don't unconditionally initialize block hash trees, asll as suggested by davidsarahs' review comments

now that tests pass with full-size keys, return test-keys to normal (522bit)

fix SHARE_HASH_CHAIN_SIZE computation

More idiomatic resolution of the conflict between ticket393-MDMF-2 and trunk. refs #393

Replace the hard-coded 522-bit RSA key size used for tests with a TEST_RSA_KEY_SIZE constant defined in test/common.py (part 2). refs #393

Replace the hard-coded 522-bit RSA key size used for tests with a TEST_RSA_KEY_SIZE constant defined in test/common.py (part 1). refs #393

merge some minor conflicts in test code from the 393-2 branch and trunk

doc: eliminate the phrase "rootcap" from doc/frontends/FTP-and-SFTP.rst
Two different people have asked me for help, saying they couldn't figure out what a "rootcap" is. Hopefully just calling it a "cap" will make it easier for them to find out from the other docs what it is.

test_web.py: fix a test failure dependent on whether simplejson.loads returns a unicode or str object.

immutable/filenode: fix pyflakes warnings

test: fix assorted tests broken by MDMF changes

uri: add MDMF and MDMF directory caps, add extension hint support

test/test_mutable: tests for MDMF

These are their own patch because they cut across a lot of the changes
I've made in implementing MDMF in such a way as to make it difficult to
split them up into the other patches.

webapi changes for MDMF

    - Learn how to create MDMF files and directories through the
      mutable-type argument.
    - Operate with the interface changes associated with MDMF and #993.
    - Learn how to do partial updates of mutable files.

mutable/servermap: Rework the servermap to work with MDMF mutable files

dirnode: teach dirnode to make MDMF directories

Fix some test failures caused by #393 patch.

docs: amend configuration, webapi documentation to talk about MDMF

cli: teach CLI how to create MDMF mutable files

Specifically, 'tahoe mkdir' and 'tahoe put' now take a --mutable-type
argument.

frontends/sftpd: Resolve incompatibilities between SFTP frontend and MDMF changes

mutable/layout: Define MDMF share format, write tools for working with MDMF share format

The changes in layout.py are mostly concerned with the MDMF share
format. In particular, we define read and write proxy objects used by
retrieval, publishing, and other code to write and read the MDMF share
format. We create equivalent proxies for SDMF objects so that these
objects can be suitably general.

immutable/filenode: implement unified filenode interface

immutable/literal.py: Implement interface changes in literal nodes.

test/common: Alter common test code to work with MDMF.

This mostly has to do with making the test code implement the new
unified filenode interfaces.

mutable: train checker and repairer to work with MDMF mutable files

nodemaker: teach nodemaker about MDMF caps

client: teach client how to create and work with MDMF files

mutable/filenode: Modify mutable filenodes for use with MDMF

In particular:
    - Break MutableFileNode and MutableFileVersion into distinct classes.
    - Implement the interface modifications made for MDMF.
    - Be aware of MDMF caps.
    - Learn how to create and work with MDMF files.

nodemaker: teach nodemaker how to create MDMF mutable files

interfaces: change interfaces to work with MDMF

A lot of this work concerns #993, in that it unifies (to an extent) the
interfaces of mutable and immutable files.

mutable/publish: teach the publisher how to publish MDMF mutable files

Like the downloader, the publisher needs some substantial changes to handle multiple segment mutable files.

mutable/retrieve: rework the mutable downloader to handle multiple-segment files

The downloader needs substantial reworking to handle multiple segment
mutable files, which it needs to handle for MDMF.

Fix repeated 'the' in license text.

Remove Non-Profit Open Software License from the set of 'added permission' licenses. Although it actually does qualify as an Open Source license (because it allows relicensing under plain OSL), its wording is unclear and could easily be misunderstood, and it contributes to incompatible license proliferation.

docs: change links that pointed to COPYING.TGPPL.html to point to COPYING.TGPPL.rst instead

docs: formatting: reflow to fill-column 77

docs: formatting: M-x whitespace-cleanup

licensing: add to the list of licenses that we grant the added permission for
Added: most of the ones listed on the FSF's "List of Free Software, GPL Incompatible Licenses", plus the Non-Profit Open Software License.

docs: reflow the added text at the top of COPYING.GPL to fill-column 77

docs: reformat COPYING.TGPPL.html to COPYING.TGPPL.rst

docs: reflow docs/logging.rst to fill-column 77

doc: fix formatting error in docs/logging.rst

Cleanups for suppression of UserWarnings. refs #1435

suppress warning emitted by newer zope.interface with Nevow 0.10
refs #1435

doc: formatting: reflow to fill-column=77

_auto_deps.py: change the requirement for zope.interface to <= 3.6.2, >= 3.6.6. fixes #1435

allmydata/__init__.py, test_version.py: make version parsing understand '<=', with test. refs #1435

Makefile and setup.py: remove setup.py commands that we no longer need, and their uses in the Makefile. Delete a stale and incorrect comment about updating _version.py. Also fix some coding style checks in the Makefile to operate on all source files.

remove misc/debian[_helpers], rely upon official packaging instead. fixes #1454