lazily create DownloadNode upon first read()/get_segment()

test_hung_server: update comments, remove dead "stage_4_d" code

copy the rest of David-Sarah's changes to make my tree match 1.8.0beta

ShareFinder: add 10s OVERDUE timer, send new requests to replace overdue ones

The fixed 10-second timer will eventually be replaced with a per-server
value, calculated based on observed response times.

test_hung_server.py: enhance to exercise DYHB=OVERDUE state. Split existing
mutable+immutable tests into two pieces for clarity. Reenabled several tests.
Deleted the now-obsolete "test_failover_during_stage_4".

Rewrite immutable downloader (#798). This patch adds and updates unit tests.

Rewrite immutable downloader (#798). This patch includes higher-level
integration into the NodeMaker, and updates the web-status display to handle
the new download events.

Rewrite immutable downloader (#798). This patch rearranges the rest of src/allmydata/immutable/ .

Rewrite immutable downloader (#798). This patch adds the new downloader itself.

util/observer.py: add EventStreamObserver

Add a byte-spans utility class, like perl's Set::IntSpan for .newsrc files.
Also a data-spans class, which records a byte (instead of a bit) for each
index.

check-umids: oops, forgot to add the tool

coverage tools: ignore errors, display lines-uncovered in elisp mode. Fix Makefile paths.

check-umids: new tool to check uniqueness of umids

misc/simulators/sizes.py: update, we now use SHA256 (not SHA1), so large-file overhead grows to 0.5%

storage-overhead: try to fix, probably still broken

docs/quickstart.html: link to 1.8.0beta zip, and note 'bin\tahoe' on Windows.

docs: relnotes.txt for 1.8.0β

test_storage.py: avoid spurious test failure by accepting either 'Next crawl in 59 minutes' or 'Next crawl in 60 minutes'. fixes #1140

misc/build_helpers/show-tool-versions.py: get sys.std{out,err}.encoding and 'as' version correctly, and improve formatting.

misc/build_helpers/show-tool-versions.py: avoid error message when 'as -version' does not create a.out.

CLI: further improve consistency of basedir options and add tests. addresses #118

CLI: make the synopsis for 'tahoe unlink' say unlink instead of rm.

CLI: make all of the option descriptions imperative sentences.

test_cli.py: make 'tahoe mkdir' tests slightly less dumb (check for 'URI:' in the output).

test_cli.py: use u-escapes instead of UTF-8.

NEWS: remove XXX comment and separate description of #890.

docs: more updates to NEWS for 1.8.0β

docs: incomplete beginnings of a NEWS update for v1.8β

docs/quickstart.html: extra step to open a new Command Prompt or log out/in on Windows.

update bundled zetuptools with doc changes, change to script setup for Windows XP, and to have the 'develop' command run script setup.

bundled setuptools/command/scriptsetup.py: use SendMessageTimeoutW, to test whether that broadcasts environment changes any better.

bundled zetuptoolz: add missing setuptools/command/scriptsetup.py

test_runner.py: add test_run_with_python_options, which checks that the Windows script changes haven't broken 'python <options> bin/tahoe'.

test_runner.py: fix missing import of get_filesystem_encoding

Bundle setuptools-0.6c16dev (with Windows script changes, and the change to only warn if site.py wasn't generated by setuptools) instead of 0.6c15dev. addresses #565, #1073, #1074

.darcs-boringfile: changes needed to take account of egg directories being bundled. Also, make _trial_temp a prefix rather than exact match.

.darcs-boringfile: changes needed to take account of pyscript wrappers on Windows.

misc/build_helpers/run_trial.py: check that the root from which the module we are testing was loaded is the current directory. This version of the patch folds in later fixes to the logic for caculating the directories to compare, and improvements to error messages. addresses #1137

Skip option arguments to the python interpreter when reconstructing Unicode argv on Windows.

windows/fixups.py: improve comments and reference some relevant Python bugs.

windows/fixups.py: make errors reported to original_stderr have enough information to debug even if we can't see the traceback.

windows/fixups.py: fix paste-o in name of Unicode stderr wrapper.

windows/fixups.py: Don't rely on buggy MSVCRT library for Unicode output, use the Win32 API instead. This should make it work on XP. Also, change how we handle the case where sys.stdout and sys.stderr are redirected, since the .encoding attribute isn't necessarily writeable.

test_runner.py: change to code for locating the bin/tahoe script that was missed when rebasing the patch for #1074.

Add missing windows/fixups.py (for setting up Unicode args and output on Windows).

Changes to Tahoe needed to work with new zetuptoolz (that does not use .exe wrappers on Windows), and to support Unicode arguments and stdout/stderr -- v5

scripts/common.py: fix an error introduced when rebasing to the ticket798 branch, which caused base directories to be duplicated in self.basedirs.

Basedir/node directory option improvements for ticket798 branch. addresses #188, #706, #715, #772, #890

scripts/create_node.py: allow nickname to be Unicode. Also ensure webport is validly encoded in config file.

test_runner.py: Fix error in message arguments to 'fail' calls.

Additional Unicode basedir changes for ticket798 branch.

Unicode basedir changes for ticket798 branch.

fileutil: change WindowsError to OSError in abspath_expanduser_unicode, because WindowsError might not exist.

test_system: correct a failure in _test_runner caused by Unicode basedir patch on non-Unicode platforms.

Fix test failures due to Unicode basedir patches.

util.encodingutil: change quote_output to do less unnecessary escaping, and to use double-quotes more consistently when needed. This version avoids u-escaping for characters that are representable in the output encoding, when double quotes are used, and includes tests. fixes #1135

Replace uses of os.path.abspath with abspath_expanduser_unicode where necessary. This makes basedir paths consistently represented as Unicode.

util.fileutil, test.test_util: add abspath_expanduser_unicode function, to work around <http://bugs.python.org/issue3426>. util.encodingutil: add a convenience function argv_to_abspath.

setup: increase requirement on foolscap from >= 0.4.1 to >= 0.5.1 to avoid the foolscap performance bug with transferring large mutable files

upload: tidy up logging messages
reformat code to be less than 100 chars wide, refactor formatting of logging messages, add log levels to some logging messages, M-x whitespace-cleanup

abbreviate time edge case python2.5 unit test

test_upload.py: rename test_problem_layout_ticket1124 to test_problem_layout_ticket_1124 -- fix .todo reference.

test_upload.py: rename test_problem_layout_ticket1124 to test_problem_layout_ticket_1124 for consistency.

tests: remove debug print

docs: update the list of forums to announce Tahoe-LAFS too, add empty checkboxes

immutable: tidy-up some code by using a set instead of list to hold homeless_shares

setup: fix a couple instances of hard-coded 'allmydata-tahoe' in the scripts, tighten the tests (as suggested by David-Sarah)

setup: replace hardcoded 'allmydata-tahoe' with allmydata.__appname__

NEWS: describe #1055

immutable: use PrefixingLogMixin to organize logging in Tahoe2PeerSelector and add more detailed messages about peer

benchmarking: update bench_dirnode to be correct and use the shiniest new pyutil.benchutil features concerning what units you measure in

trivial: rename and add in-line doc to clarify "used_peers" => "upload_servers"

docs: add Jacob Lyles to CREDITS

web: don't use %d formatting on a potentially large negative float -- there is a bug in Python 2.5 in that case
fixes #1055

docs: fix licensing typo that was earlier fixed in [20090921164651-92b7f-7f97b58101d93dc588445c52a9aaa56a2c7ae336]
I wish we didn't copies of this licensing text in several different files so that changes can be accidentally omitted from some of them.

misc/build_helpers/run-with-pythonpath.py: fix stale comment, and remove 'trial' example that is not the right way to run trial.

docs/specifications/dirnodes.txt: 'mesh'->'grid'.

docs/specifications/dirnodes.txt: bring layer terminology up-to-date with architecture.txt, and a few other updates (e.g. note that the MAC is no longer verified, and that URIs can be unknown). Also 'Tahoe'->'Tahoe-LAFS'.

docs: use current cap to Zooko's wiki page in example text
fixes #1134

__init__.py: silence DeprecationWarning about BaseException.message globally. fixes #1129

test_runner: test that 'tahoe --version' outputs no noise (e.g. DeprecationWarnings).

TAG allmydata-tahoe-1.7.1

relnotes.txt: updated for v1.7.1 release!

immutable: add test case of #1128, fix test case of #1118

NEWS: add #1118 and reflow

immutable: fix bug in which preexisting_shares and merged were shallowly referencing the same sets
This bug had the effect of making uploads sometimes (rarely) appear to succeed when they had actually not distributed the shares well enough to achieve the desired servers-of-happiness level.

upload.py: fix #1118 by aborting newly-homeless buckets when reassignment runs. This makes a previously failing assert correct. This version refactors 'abort' into two methods, rather than using a default argument.

docs/known_issues.txt: update release version and date.

relnotes.txt, docs/quickstart.html: prepare for 1.7.1 release. Don't claim to work on Cygwin (this might work but is untested).

immutable: extend the tests to check that the shares that got uploaded really do make a sufficiently Happy distribution
This patch also renames some instances of "find_shares()" to "find_all_shares()" and other instances to "find_uri_shares()" as appropriate -- the conflation between those names confused me at first when writing these tests.

immutable: test for #1118

immutable: test for #1124

docs/logging.txt: document that _trial_temp/test.log does not receive messages below level=OPERATIONAL, due to <http://foolscap.lothar.com/trac/ticket/154>.

trivial: fix unused import (sorry about that, pyflakes)

tests, NEWS, CREDITS re: #1117
Give Brian and Kevan promotions, move release date in NEWS to the 18th, commit Brian's test for #1117.
fixes #1117

test/test_upload.py: test to see that aborted buckets are ignored by the storage server

test/test_storage.py: test for the new remote_abort semantics.

storage/immutable.py: make remote_abort btell the storage server about aborted buckets.

test/test_upload.py: changes to test plumbing for #1117 tests

    - Add a callRemoteOnly method to FakeBucketWriter.
    - Change the abort method in FakeBucketWriter to not return a
      RuntimeError.

immutable/upload.py: abort buckets if peer selection fails