setup: new improved misc/show-tool-versions.py

Improve code coverage of the Tahoe2PeerSelector tests.

Remove a comment that no longer makes sense.

docs: update docs/architecture.txt to more fully and correctly explain the upload procedure

Fix up the behavior of #778, per reviewers' comments

  - Make some important utility functions clearer and more thoroughly
    documented.
  - Assert in upload.servers_of_happiness that the buckets attributes
    of PeerTrackers passed to it are mutually disjoint.
  - Get rid of some silly non-Pythonisms that I didn't see when I first
    wrote these patches.
  - Make sure that should_add_server returns true when queried about a
    shnum that it doesn't know about yet.
  - Change Tahoe2PeerSelector.preexisting_shares to map a shareid to a set
    of peerids, alter dependencies to deal with that.
  - Remove upload.should_add_servers, because it is no longer necessary
  - Move upload.shares_of_happiness and upload.shares_by_server to a utility
    file.
  - Change some points in Tahoe2PeerSelector.
  - Compute servers_of_happiness using a bipartite matching algorithm that
    we know is optimal instead of an ad-hoc greedy algorithm that isn't.
  - Change servers_of_happiness to just take a sharemap as an argument,
    change its callers to merge existing_shares and used_peers before
    calling it.
  - Change an error message in the encoder to be more appropriate for
    servers of happiness.
  - Clarify the wording of an error message in immutable/upload.py
  - Refactor a happiness failure message to happinessutil.py, and make
    immutable/upload.py and immutable/encode.py use it.
  - Move the word "only" as far to the right as possible in failure
    messages.
  - Use a better definition of progress during peer selection.
  - Do read-only peer share detection queries in parallel, not sequentially.
  - Clean up logging semantics; print the query statistics whenever an
    upload is unsuccessful, not just in one case.

Alter the error message when an upload fails, per some comments in #778.

When I first implemented #778, I just altered the error messages to refer to
servers where they referred to shares. The resulting error messages weren't
very good. These are a bit better.

Change "UploadHappinessError" to "UploadUnhappinessError"

Alter the error message returned when peer selection fails

The Tahoe2PeerSelector returned either NoSharesError or NotEnoughSharesError
for a variety of error conditions that weren't informatively described by them.
This patch creates a new error, UploadHappinessError, replaces uses of
NoSharesError and NotEnoughSharesError with it, and alters the error message
raised with the errors to be more in line with the new servers_of_happiness
behavior. See ticket #834 for more information.

Eliminate overcounting iof servers_of_happiness in Tahoe2PeerSelector; also reorganize some things.

Change stray "shares_of_happiness" to "servers_of_happiness"

Alter Tahoe2PeerSelector to make sure that it recognizes existing shares on readonly servers, fixing an issue in #778

Alter 'immutable/encode.py' and 'immutable/upload.py' to use servers_of_happiness instead of shares_of_happiness.

Alter the signature of set_shareholders in IEncoder to add a 'servermap' parameter, which gives IEncoders enough information to perform a sane check for servers_of_happiness.

Alter CiphertextDownloader to work with servers_of_happiness

Revisions of the #778 tests, per reviewers' comments

- Fix comments and confusing naming.
- Add tests for the new error messages suggested by David-Sarah
  and Zooko.
- Alter existing tests for new error messages.
- Make sure that the tests continue to work with the trunk.
- Add a test for a mutual disjointedness assertion that I added to
  upload.servers_of_happiness.
- Fix the comments to correctly reflect read-onlyness
- Add a test for an edge case in should_add_server
- Add an assertion to make sure that share redistribution works as it
  should
- Alter tests to work with revised servers_of_happiness semantics
- Remove tests for should_add_server, since that function no longer exists.
- Alter tests to know about merge_peers, and to use it before calling
  servers_of_happiness.
- Add tests for merge_peers.
- Add Zooko's puzzles to the tests.
- Edit encoding tests to expect the new kind of failure message.
- Edit tests to expect error messages with the word "only" moved as far
  to the right as possible.
- Extended and cleaned up some helper functions.
- Changed some tests to call more appropriate helper functions.
- Added a test for the failing redistribution algorithm
- Added a test for the progress message
- Added a test for the upper bound on readonly peer share discovery.

Alter various unit tests to work with the new happy behavior

Replace "UploadHappinessError" with "UploadUnhappinessError" in tests.

Add tests for the behavior described in #834.

Re-work 'test_upload.py' to be more readable; add more tests for #778

Test Tahoe2PeerSelector to make sure that it recognizeses existing shares on readonly servers

Add more tests for comment:53 in ticket #778

Add a test for upload.shares_by_server

Minor tweak to an existing test -- make the first server read-write, instead of read-only

Alter tests to use the new form of set_shareholders

Refactor some behavior into a mixin, and add tests for the behavior described in #778

Alter NoNetworkGrid to allow the creation of readonly servers for testing purposes.

Update 'docs/architecture.txt' to reflect readonly share discovery

Alter the wording in docs/architecture.txt to more accurately describe the servers_of_happiness behavior.

Alter wording in 'interfaces.py' to be correct wrt #778

Update 'docs/configuration.txt' to reflect the servers_of_happiness behavior.

Clarify quickstart instructions for installing pywin32

web: add a simple test that you can load directory.xhtml

setup: fix typos in misc/show-tool-versions.py

setup: show code-coverage tool versions in show-tools-versions.py

docs: update README, mv it to README.txt, update setup.py

Dependency on Windmill test framework is not needed yet.

tests: pass z to tar so that BSD tar will know to ungzip

setup: update comments and URLs in setup.cfg

setup: reorder and extend the show-tool-versions script, the better to glean information about our new buildslaves

CLI: Support for https url in option --node-url

This patch modifies the regular expression used for verifying of '--node-url'
parameter.  Support for accessing a Tahoe gateway over HTTPS was already
present, thanks to Python's urllib.

backupdb.did_create_directory: use REPLACE INTO, not INSERT INTO + ignore error

This handles the case where we upload a new tahoe directory for a
previously-processed local directory, possibly creating a new dircap (if the
metadata had changed). Now we replace the old dirhash->dircap record. The
previous behavior left the old record in place (with the old dircap and
timestamps), so we'd never stop creating new directories and never converge
on a null backup.

"tahoe webopen": add --info flag, to get ?t=info

Also fix some trailing whitespace.

docs: install.html http-equiv refresh to quickstart.html

docs: install.html -> quickstart.html
It is not called "installing" because that implies that it is going to change the configuration of your operating system. It is not called "building" because that implies that you need developer tools like a compiler. Also I added a stern warning against looking at the "InstallDetails" wiki page, which I have renamed to "AdvancedInstall".

Fix another typo in tahoe_storagespace munin plugin

Add dependency on windmill >= 1.3

licensing: phrase the OpenSSL-exemption in the vocabulary of copyright instead of computer technology, and replicate the exemption from the GPL to the TGPPL

munin-tahoe_storagespace

Plugin configuration rename

setup: add licensing declaration for setuptools (noticed by the FSF compliance folks)

setup: fix error in licensing declaration from Shawn Willden, as noted by the FSF compliance division

CREDITS to Jacob Appelbaum

desert-island-build-with-proper-versions

docs: a few small edits to try to guide newcomers through the docs
These edits were suggested by my watching over Jake Appelbaum's shoulder as he completely ignored/skipped/missed install.html and also as he decided that debian.txt wouldn't help him with basic installation. Then I threw in a few docs edits that have been sitting around in my sandbox asking to be committed for months.

TAG allmydata-tahoe-1.6.1

Change install.html to reference 1.6.1 instead of 1.6.0

docs: fix the asymptotic network performance of mutable file download in performance.txt, rename the howto-make-a-release file

Change code that gives a base32 SI or an empty string to be more straightforward. (#948)

Additional test for DIR2-LIT directories in test_web.py, fixed version (#948)

Updates to NEWS for 1.6.1

Additional fixes for DIR2-LIT More Info page and deep-check/manifest operations (#948)

directories: add DIR2-LIT directories to test_deepcheck.py (#948)

dirnode: add tests of literal dirnodes (current and fix for #948)

Additional fix for abbrev_si, with test

Additions to test_web.py for #948

Change direct accesses to an_uri.storage_index to calls to .get_storage_index() (fixes #948)

Tweak to 'tahoe ls --help' output (#837)

Test behaviour of 'tahoe ls' for unknown objects (#837)

Improve behaviour of 'tahoe ls' for unknown objects, addressing kevan's comments

docs: update relnotes.txt for v1.6.1

docs: NEWS and relnotes-short.txt and CREDITS for v1.6.1

misc/coverage.el: improve filename matching

test_util.py: improve coverage of util.time_format

docs/performance.txt: split out CPU from network, expand on mutable costs

docs/FTP: the Twisted patch (t3462) has landed, will be in the next release

Change OphandleTable to use a deterministic clock, so we can test it

To test the changes for #577, we need a deterministic way to simulate
the passage of long periods of time. twisted.internet.task.Clock seems,
from my Googling, to be the way to go for this functionality. I changed
a few things so that OphandleTable would use twisted.internet.task.Clock
when testing:

  * WebishServer.__init___ now takes an optional 'clock' parameter,
  * which it passes to the root.Root instance it creates.
  * root.Root.__init__ now takes an optional 'clock' parameter, which it
    passes to the OphandleTable.__init__ method.
  * OphandleTable.__init__ now takes an optional 'clock' parameter. If
    it is provided, and it isn't None, its callLater method will be used
    to schedule ophandle expirations (as opposed to using
    reactor.callLater, which is what OphandleTable does normally).
  * The WebMixin object in test_web.py now sets a self.clock parameter,
    which is a twisted.internet.task.Clock that it feeds to the
    WebishServer it creates.

Tests using the WebMixin can control the passage of time in
OphandleTable by accessing self.clock.

Add tests for the ophandle expiration behavior in #577

Update docs/frontends/webapi.txt to reflect the new expiration times in #577

Increase ophandle expiration times, per #577

More cleanups to test_cli using new utilities for reading and writing files.

Fix race conditions and missing callback in allmydata.test.test_cli.Cp.test_copy_using_filecap, add utilities for one-liner reading and writing of files, and fix cases in test_cli where files were not being closed after writing.

setup: comment-out the dependency on pycrypto, see #953

Add tests for #939

Alter CLI utilities to handle nonexistent aliases better

adding pycrypto to the auto dependencies

docs running.html - "tahoe run ." does not work with the current installation, replaced with "tahoe start ."

web/storage.py: display total-seen on the last-complete-cycle line. For #940.

code coverage: replace figleaf with coverage.py, should work on py2.6 now.

It still lacks the right HTML report (the builtin report is very pretty, but
lacks the "lines uncovered" numbers that I want), and the half-finished
delta-from-last-run measurements.

More comprehensive changes and ticket references for NEWS

docs: install.html: link into Python 2.5.5 download page

TAG allmydata-tahoe-1.6.0

docs: install.html: recommend Python 2.5 (because I can build extension modules for it with mingw), architecture.txt: point out that our Proof of Retrievability feature is client-side-only

architecture.txt: remove trailing whitespace, wrap lines: no content changes

docs: a couple of small edits to release notes (thanks Peter)

docs: CREDITS: where due

docs: a few small edits to performance.txt and README

Fill in 'docs/performance.txt' with some performance information

docs: a few edits to architecture.txt, most significantly highlighting "future work" to avoid confusing it with the current version, and adding a "future work" about a random-sampling Proof of Retrievability verifier

docs: a few edits and updates to relnotes.txt, relnotes-short.txt, and NEWS in preparation for v1.6.0

Document leakage of cap URLs via phishing filters in known_issues.txt

docs: updates to relnotes.txt, NEWS, architecture, historical_known_issues, install.html, etc.