SFTP: implement execCommand to interoperate with clients that issue a 'df -P -k /' command. Also eliminate use of Zope adaptation.

sftpd.py: 'log.OPERATIONAL' should be just 'OPERATIONAL'.

Attempt to fix #1040 by making SFTPUser implement ISession.

Eliminate Windows newlines from sftpd.py.

Update SFTP implementation and tests: fix #1038 and switch to foolscap logging; also some code reorganization.

Tests for new SFTP implementation

New SFTP implementation: mutable files, read/write support, streaming download, Unicode filenames, and more

setup: adjust make clean target to ignore our bundled build tools

setup: bundle a copy of setuptools_trial as an unzipped egg in the base dir of the Tahoe-LAFS source tree
This is to work-around this Distribute issue:
http://bitbucket.org/tarek/distribute/issue/55/revision-control-plugin-automatically-installed-as-a-build-dependency-is-not-present-when-another-build-dependency-is-being

setup: bundle a copy of darcsver in unzipped egg form in the root of the Tahoe-LAFS source tree
This is to work-around this Distribute issue:
http://bitbucket.org/tarek/distribute/issue/55/revision-control-plugin-automatically-installed-as-a-build-dependency-is-not-present-when-another-build-dependency-is-being

quickstart.html: warn against installing Python at a path containing spaces.

setup: undo the previous patch to quote the executable in scripts
The problem isn't in the script, it is in the cli.exe script that is built by setuptools. This might be related to
http://bugs.python.org/issue6792
and
http://bugs.python.org/setuptools/issue2
Or it might be a separate issue involving the launcher.c code e.g. http://tahoe-lafs.org/trac/zetuptoolz/browser/launcher.c?rev=576#L210 and its handling of the interpreter name.

setup: put quotes around the path to executable in case it has spaces in it, when building a tahoe.exe for win32

Add must_exist, must_be_directory, and must_be_file arguments to DirectoryNode.delete. This will be used to fixes a minor condition in the SFTP frontend.

Fix test failures in test_web caused by changes to web page titles in #1062. Also, change a 'target' field to '_blank' instead of 'blank' in welcome.xhtml.

misc/show-tool-versions.py: Display additional Python interpreter encoding informations (stdout, stdin and filesystem)

dirnode.py: Fix bug that caused 'tahoe' fields, 'ctime' and 'mtime' not to be updated when new metadata is present.

dirnode.py: Fix #1034 (MetadataSetter does not enforce restriction on setting 'tahoe' subkeys), and expose the metadata updater for use by SFTP. Also, support diminishing a child cap to read-only if 'no-write' is set in the metadata.

Change doc comments in interfaces.py to take into account unknown nodes.

Trivial whitespace changes.

Suppress 'integer argument expected, got float' DeprecationWarning everywhere

Change shouldFail to avoid Unicode errors when converting Failure to str

SFTP: relax pyasn1 version dependency to >= 0.0.8a.

SFTP: add pyasn1 as dependency, needed if we are using Twisted >= 9.0.0.

allmydata.org -> tahoe-lafs.org in __init__.py

small change to CREDITS

Resolve conflict in patch to change imports to absolute.

Minor documentation tweaks.

title_rename_xhtml.dpatch.txt

- Renamed xhtml Title from "Allmydata - Tahoe" to "Tahoe-LAFS"
- Renamed Tahoe to Tahoe-LAFS in page content
- Changed Tahoe-LAFS home page link to http://tahoe-lafs.org (added target="blank")
- Deleted commented css script in info.xhtml

tests: refactor test_web.py to have less duplication of literal caps-from-the-future
This is a prelude to a patch which will add tests of caps from the future which have non-ascii chars in them.

doc_reformat_stats.txt

   - Added heading format begining and ending by "=="
   - Added Index
   - Added Title

   Note: No change are made in paragraphs content

**END OF DESCRIPTION***

Place the long patch description above the ***END OF DESCRIPTION*** marker.
The first line of this file will be the patch name.

This patch contains the following changes:

M ./docs/stats.txt -2 +2

doc_reformat_performance.txt

   - Added heading format begining and ending by "=="
   - Added Index
   - Added Title

   Note: No change are made in paragraphs content

doc_refomat_logging.txt

   - Added heading format begining and ending by "=="
   - Added Index
   - Added Title

   Note: No change are made in paragraphs content

doc_reformat_known_issues.txt

    - Added heading format begining and ending by "=="
    - Added Index
    - Added Title

    Note: No change are made in paragraphs content

doc_reformat_helper.txt

   - Added heading format begining and ending by "=="
   - Added Index
   - Added Title

   Note: No change are made in paragraphs content

doc_reformat_garbage-collection.txt

   - Added heading format begining and ending by "=="
   - Added Index
   - Added Title

   Note: No change are made in paragraphs content

doc_reformat_FTP-and-SFTP.txt

   - Added heading format begining and ending by "=="
   - Added Index
   - Added Title

   Note: No change are made in paragraphs content

doc_reformat_debian.txt

   - Added heading format begining and ending by "=="
   - Added Index
   - Added Title

   Note: No change are made in paragraphs content

doc_reformat_configuration.txt

- Added heading format begining and ending by "=="
- Added Index
- Added Title

Note: No change are made in paragraphs content

doc_reformat_CLI.txt

     - Added heading format begining and ending by "=="
     - Added Index
     - Added Title

     Note: No change are made in paragraphs content

doc_reformat_backupdb.txt

   - Added heading format begining and ending by "=="
   - Added Index
   - Added Title

   Note: No change are made in paragraphs content

doc_reformat_architecture.txt

    - Added heading format begining and ending by "=="
    - Added Index
    - Added Title

    Note: No change are made in paragraphs content

Correct harmless indentation errors found by pylint

Change relative imports to absolute

Document reason for the trialcoverage version requirement being 0.3.3.

Downgrade version requirement for trialcoverage to 0.3.3 (from 0.3.10), to avoid needing to compile coveragepy on Windows.

Suppress deprecation warning for twisted.web.error.NoResource when using Twisted >= 9.0.0.

docs: CREDITS for Jeremy Visser

test: show stdout and stderr in case of non-zero exit code from "tahoe" command

setup: upgrade bundled zetuptoolz to zetuptoolz-0.6c15dev and make it unpacked and directly loaded by setup.py
Also fix the relevant "make clean" target behavior.

setup: remove bundled zipfile egg of setuptools
We're about to replace it with bundled unpacked source code of setuptools, which is much nicer for debugging and evolving under revision control.

setup: remove bundled copy of setuptools_trial-0.5.2.tar
Hopefully it will get installed automatically as needed and we won't bundle it anymore.

setup: remove bundled setuptools_darcs-1.2.8.tar
This version of setuptools_darcs had a bug when used on Windows which has been fixed in setuptools_darcs-1.2.9. Hopefully we will not need to bundle a copy of setuptools_darcs-1.2.9 in with Tahoe-LAFS and can instead rely on it to be downloaded from PyPI or bundled in the "tahoe deps" separate tarball.

tests: fix pyflakes warnings in bench_dirnode.py

setup: if the string '--reporter=bwverbose-coverage' appears on sys.argv then you need trialcoverage

tests: don't let bench_dirnode.py do stuff and have side-effects at import time (unless __name__ == '__main__')

tests: increase timeout to give François's ARM buildslave a chance to complete the tests

run_trial.darcspath

docs: line-wrap README.txt

Hush pyflakes warnings

setup: new improved misc/show-tool-versions.py

Improve code coverage of the Tahoe2PeerSelector tests.

Remove a comment that no longer makes sense.

docs: update docs/architecture.txt to more fully and correctly explain the upload procedure

Fix up the behavior of #778, per reviewers' comments

  - Make some important utility functions clearer and more thoroughly
    documented.
  - Assert in upload.servers_of_happiness that the buckets attributes
    of PeerTrackers passed to it are mutually disjoint.
  - Get rid of some silly non-Pythonisms that I didn't see when I first
    wrote these patches.
  - Make sure that should_add_server returns true when queried about a
    shnum that it doesn't know about yet.
  - Change Tahoe2PeerSelector.preexisting_shares to map a shareid to a set
    of peerids, alter dependencies to deal with that.
  - Remove upload.should_add_servers, because it is no longer necessary
  - Move upload.shares_of_happiness and upload.shares_by_server to a utility
    file.
  - Change some points in Tahoe2PeerSelector.
  - Compute servers_of_happiness using a bipartite matching algorithm that
    we know is optimal instead of an ad-hoc greedy algorithm that isn't.
  - Change servers_of_happiness to just take a sharemap as an argument,
    change its callers to merge existing_shares and used_peers before
    calling it.
  - Change an error message in the encoder to be more appropriate for
    servers of happiness.
  - Clarify the wording of an error message in immutable/upload.py
  - Refactor a happiness failure message to happinessutil.py, and make
    immutable/upload.py and immutable/encode.py use it.
  - Move the word "only" as far to the right as possible in failure
    messages.
  - Use a better definition of progress during peer selection.
  - Do read-only peer share detection queries in parallel, not sequentially.
  - Clean up logging semantics; print the query statistics whenever an
    upload is unsuccessful, not just in one case.

Alter the error message when an upload fails, per some comments in #778.

When I first implemented #778, I just altered the error messages to refer to
servers where they referred to shares. The resulting error messages weren't
very good. These are a bit better.

Change "UploadHappinessError" to "UploadUnhappinessError"

Alter the error message returned when peer selection fails

The Tahoe2PeerSelector returned either NoSharesError or NotEnoughSharesError
for a variety of error conditions that weren't informatively described by them.
This patch creates a new error, UploadHappinessError, replaces uses of
NoSharesError and NotEnoughSharesError with it, and alters the error message
raised with the errors to be more in line with the new servers_of_happiness
behavior. See ticket #834 for more information.

Eliminate overcounting iof servers_of_happiness in Tahoe2PeerSelector; also reorganize some things.

Change stray "shares_of_happiness" to "servers_of_happiness"

Alter Tahoe2PeerSelector to make sure that it recognizes existing shares on readonly servers, fixing an issue in #778

Alter 'immutable/encode.py' and 'immutable/upload.py' to use servers_of_happiness instead of shares_of_happiness.

Alter the signature of set_shareholders in IEncoder to add a 'servermap' parameter, which gives IEncoders enough information to perform a sane check for servers_of_happiness.

Alter CiphertextDownloader to work with servers_of_happiness

Revisions of the #778 tests, per reviewers' comments

- Fix comments and confusing naming.
- Add tests for the new error messages suggested by David-Sarah
  and Zooko.
- Alter existing tests for new error messages.
- Make sure that the tests continue to work with the trunk.
- Add a test for a mutual disjointedness assertion that I added to
  upload.servers_of_happiness.
- Fix the comments to correctly reflect read-onlyness
- Add a test for an edge case in should_add_server
- Add an assertion to make sure that share redistribution works as it
  should
- Alter tests to work with revised servers_of_happiness semantics
- Remove tests for should_add_server, since that function no longer exists.
- Alter tests to know about merge_peers, and to use it before calling
  servers_of_happiness.
- Add tests for merge_peers.
- Add Zooko's puzzles to the tests.
- Edit encoding tests to expect the new kind of failure message.
- Edit tests to expect error messages with the word "only" moved as far
  to the right as possible.
- Extended and cleaned up some helper functions.
- Changed some tests to call more appropriate helper functions.
- Added a test for the failing redistribution algorithm
- Added a test for the progress message
- Added a test for the upper bound on readonly peer share discovery.

Alter various unit tests to work with the new happy behavior

Replace "UploadHappinessError" with "UploadUnhappinessError" in tests.

Add tests for the behavior described in #834.

Re-work 'test_upload.py' to be more readable; add more tests for #778

Test Tahoe2PeerSelector to make sure that it recognizeses existing shares on readonly servers

Add more tests for comment:53 in ticket #778

Add a test for upload.shares_by_server

Minor tweak to an existing test -- make the first server read-write, instead of read-only

Alter tests to use the new form of set_shareholders

Refactor some behavior into a mixin, and add tests for the behavior described in #778

Alter NoNetworkGrid to allow the creation of readonly servers for testing purposes.

Update 'docs/architecture.txt' to reflect readonly share discovery

Alter the wording in docs/architecture.txt to more accurately describe the servers_of_happiness behavior.

Alter wording in 'interfaces.py' to be correct wrt #778

Update 'docs/configuration.txt' to reflect the servers_of_happiness behavior.

Clarify quickstart instructions for installing pywin32

web: add a simple test that you can load directory.xhtml

setup: fix typos in misc/show-tool-versions.py

setup: show code-coverage tool versions in show-tools-versions.py

docs: update README, mv it to README.txt, update setup.py

Dependency on Windmill test framework is not needed yet.

tests: pass z to tar so that BSD tar will know to ungzip

setup: update comments and URLs in setup.cfg

setup: reorder and extend the show-tool-versions script, the better to glean information about our new buildslaves

CLI: Support for https url in option --node-url

This patch modifies the regular expression used for verifying of '--node-url'
parameter.  Support for accessing a Tahoe gateway over HTTPS was already
present, thanks to Python's urllib.