docs: update NEWS a bit about New-Downloader

misc: add benchmarking tool for spans

docs: doc of the download status page
ref: http://tahoe-lafs.org/trac/tahoe-lafs/ticket/1169#comment:1

docs: NEWS: edit English usage, remove ticket numbers for regressions vs. 1.7.1 that were fixed again before 1.8.0c2

docs: NEWS: more detail about new-downloader

TAG allmydata-tahoe-1.8.0c2

quickstart.html: update tarball link.

webapi.txt: fix grammatical error.

relnotes.txt: update revision of NEWS.

NEWS, relnotes and known-issues for 1.8.0c2.

DownloadStatus: put real numbers in progress/status rows, not placeholders.
Improve tests.

web download-status: tolerate DYHBs that haven't retired yet. Fixes #1160.

Also add a better unit test for it.

immutable/filenode.py: put off DownloadStatus creation until first read() call

This avoids spamming the "recent uploads and downloads" /status page from
FileNode instances that were created for a directory read but which nobody is
ever going to read from. I also cleaned up the way DownloadStatus instances
are made to only ever do it in the CiphertextFileNode, not in the
higher-level plaintext FileNode. Also fixed DownloadStatus handling of read
size, thanks to David-Sarah for the catch.

Share: hush log entries in the main loop() after the fetch has been completed.

test_runner.py: correct and simplify normalization of package directory for case-insensitive filesystems.

test_runner.py: make test_path work for test-from-installdir.

src/allmydata/__init__.py: make the package paths more accurate when we fail to get them from setuptools.

test_runner.py: another try at calculating the rootdir correctly for test-from-egg and test-from-prefixdir.

test_runner.py: calculate the location of bin/tahoe correctly for test-from-prefixdir (by copying code from misc/build_helpers/run_trial.py). Also fix the false-positive check for Unicode paths in test_the_right_code, which was causing skips that should have been failures.

TAG allmydata-tahoe-1.8.0c1

how_to_make_a_tahoe-lafs_release.txt: add step to check that release will report itself as the intended version.

relnotes.txt: 1.8.0c1 release

NEWS, quickstart.html and known_issues.txt for 1.8.0c1 release.

TAG allmydata-tahoe-1.8.0rc1

update NEWS and other docs in preparation for 1.8.0rc1

in particular, merge the various 1.8.0b1/b2 sections, and remove the
datestamp. NEWS gets updated just before a release, doesn't need to precisely
describe pre-release candidates, and the datestamp gets updated just before
the final release is tagged

Also, I removed the BOM from some files. My toolchain made it hard to retain,
and BOMs in UTF-8 don't make a whole lot of sense anyway. Sorry if that
messes anything up.

downloader.Segmentation: unregisterProducer when asked to stopProducing, this
seems to avoid the #1155 log message which reveals the URI (and filecap).

Also add an [ERROR] marker to the flog entry, since unregisterProducer also
makes interrupted downloads appear "200 OK"; this makes it more obvious that
the download did not complete.

TAG allmydata-tahoe-1.8.0b2

relnotes.txt and docs/known_issues.txt for 1.8.0beta2.

test_util.py: use SHA-256 from pycryptopp instead of MD5 from hashlib (for uses in which any hash will do), since hashlib was only added to the stdlib in Python 2.5.

test_runner.py: increase timeout to cater for Francois' ARM buildslave.

test_util.py: remove use of 'a if p else b' syntax that requires Python 2.5.

NEWS and docs/quickstart.html for 1.8.0beta2.

docs/quickstart.html: remove link to tahoe-lafs-ticket798-1.8.0b.zip, due to appname regression. refs #1159

test_download.DownloadTest.test_simultaneous_goodguess: enable some disabled
checks that used to fail but work now.

DownloadNode: fix lost-progress in fetch_failed, tolerate cancel when no segment-fetch is active. Fixes #1154.

The lost-progress bug occurred when two simultanous read() calls fetched
different segments, and the first one failed (due to corruption, or the other
bugs in #1154): the second read() would never complete. While in this state,
cancelling the second read by having its consumer call stopProducing) would
trigger the cancel-intolerance bug. Finally, in downloader.node.Cancel,
prevent late cancels by adding an 'active' flag

util/spans.py: __nonzero__ cannot return a long either. for #1154

test_storage.py: change skip note for test_large_share to say that Windows doesn't support sparse files. refs #569

One fix for bug #1154: webapi GETs with a 'Range' header broke new-downloader.

The Range header causes n.read() to be called with an offset= of type 'long',
which eventually got used in a Spans/DataSpans object's __len__ method.
Apparently python doesn't permit __len__() to return longs, only ints.
Rewrote Spans/DataSpans to use s.len() instead of len(s) aka s.__len__() .
Added a test in test_download. Note that test_web didn't catch this because
it uses mock FileNodes for speed: it's probably time to rewrite that.

There is still an unresolved error-recovery problem in #1154, so I'm not
closing the ticket quite yet.

test_download: minor cleanup

fetcher.py: improve comments

lazily create DownloadNode upon first read()/get_segment()

test_hung_server: update comments, remove dead "stage_4_d" code

copy the rest of David-Sarah's changes to make my tree match 1.8.0beta

ShareFinder: add 10s OVERDUE timer, send new requests to replace overdue ones

The fixed 10-second timer will eventually be replaced with a per-server
value, calculated based on observed response times.

test_hung_server.py: enhance to exercise DYHB=OVERDUE state. Split existing
mutable+immutable tests into two pieces for clarity. Reenabled several tests.
Deleted the now-obsolete "test_failover_during_stage_4".

Rewrite immutable downloader (#798). This patch adds and updates unit tests.

Rewrite immutable downloader (#798). This patch includes higher-level
integration into the NodeMaker, and updates the web-status display to handle
the new download events.

Rewrite immutable downloader (#798). This patch rearranges the rest of src/allmydata/immutable/ .

Rewrite immutable downloader (#798). This patch adds the new downloader itself.

util/observer.py: add EventStreamObserver

Add a byte-spans utility class, like perl's Set::IntSpan for .newsrc files.
Also a data-spans class, which records a byte (instead of a bit) for each
index.

check-umids: oops, forgot to add the tool

coverage tools: ignore errors, display lines-uncovered in elisp mode. Fix Makefile paths.

check-umids: new tool to check uniqueness of umids

misc/simulators/sizes.py: update, we now use SHA256 (not SHA1), so large-file overhead grows to 0.5%

storage-overhead: try to fix, probably still broken

docs/quickstart.html: link to 1.8.0beta zip, and note 'bin\tahoe' on Windows.

docs: relnotes.txt for 1.8.0β

test_storage.py: avoid spurious test failure by accepting either 'Next crawl in 59 minutes' or 'Next crawl in 60 minutes'. fixes #1140

misc/build_helpers/show-tool-versions.py: get sys.std{out,err}.encoding and 'as' version correctly, and improve formatting.

misc/build_helpers/show-tool-versions.py: avoid error message when 'as -version' does not create a.out.

CLI: further improve consistency of basedir options and add tests. addresses #118

CLI: make the synopsis for 'tahoe unlink' say unlink instead of rm.

CLI: make all of the option descriptions imperative sentences.

test_cli.py: make 'tahoe mkdir' tests slightly less dumb (check for 'URI:' in the output).

test_cli.py: use u-escapes instead of UTF-8.

NEWS: remove XXX comment and separate description of #890.

docs: more updates to NEWS for 1.8.0β

docs: incomplete beginnings of a NEWS update for v1.8β

docs/quickstart.html: extra step to open a new Command Prompt or log out/in on Windows.

update bundled zetuptools with doc changes, change to script setup for Windows XP, and to have the 'develop' command run script setup.

bundled setuptools/command/scriptsetup.py: use SendMessageTimeoutW, to test whether that broadcasts environment changes any better.

bundled zetuptoolz: add missing setuptools/command/scriptsetup.py

test_runner.py: add test_run_with_python_options, which checks that the Windows script changes haven't broken 'python <options> bin/tahoe'.

test_runner.py: fix missing import of get_filesystem_encoding

Bundle setuptools-0.6c16dev (with Windows script changes, and the change to only warn if site.py wasn't generated by setuptools) instead of 0.6c15dev. addresses #565, #1073, #1074

.darcs-boringfile: changes needed to take account of egg directories being bundled. Also, make _trial_temp a prefix rather than exact match.

.darcs-boringfile: changes needed to take account of pyscript wrappers on Windows.

misc/build_helpers/run_trial.py: check that the root from which the module we are testing was loaded is the current directory. This version of the patch folds in later fixes to the logic for caculating the directories to compare, and improvements to error messages. addresses #1137

Skip option arguments to the python interpreter when reconstructing Unicode argv on Windows.

windows/fixups.py: improve comments and reference some relevant Python bugs.

windows/fixups.py: make errors reported to original_stderr have enough information to debug even if we can't see the traceback.

windows/fixups.py: fix paste-o in name of Unicode stderr wrapper.

windows/fixups.py: Don't rely on buggy MSVCRT library for Unicode output, use the Win32 API instead. This should make it work on XP. Also, change how we handle the case where sys.stdout and sys.stderr are redirected, since the .encoding attribute isn't necessarily writeable.

test_runner.py: change to code for locating the bin/tahoe script that was missed when rebasing the patch for #1074.

Add missing windows/fixups.py (for setting up Unicode args and output on Windows).

Changes to Tahoe needed to work with new zetuptoolz (that does not use .exe wrappers on Windows), and to support Unicode arguments and stdout/stderr -- v5

scripts/common.py: fix an error introduced when rebasing to the ticket798 branch, which caused base directories to be duplicated in self.basedirs.

Basedir/node directory option improvements for ticket798 branch. addresses #188, #706, #715, #772, #890

scripts/create_node.py: allow nickname to be Unicode. Also ensure webport is validly encoded in config file.

test_runner.py: Fix error in message arguments to 'fail' calls.

Additional Unicode basedir changes for ticket798 branch.

Unicode basedir changes for ticket798 branch.

fileutil: change WindowsError to OSError in abspath_expanduser_unicode, because WindowsError might not exist.

test_system: correct a failure in _test_runner caused by Unicode basedir patch on non-Unicode platforms.

Fix test failures due to Unicode basedir patches.

util.encodingutil: change quote_output to do less unnecessary escaping, and to use double-quotes more consistently when needed. This version avoids u-escaping for characters that are representable in the output encoding, when double quotes are used, and includes tests. fixes #1135

Replace uses of os.path.abspath with abspath_expanduser_unicode where necessary. This makes basedir paths consistently represented as Unicode.

util.fileutil, test.test_util: add abspath_expanduser_unicode function, to work around <http://bugs.python.org/issue3426>. util.encodingutil: add a convenience function argv_to_abspath.

setup: increase requirement on foolscap from >= 0.4.1 to >= 0.5.1 to avoid the foolscap performance bug with transferring large mutable files

upload: tidy up logging messages
reformat code to be less than 100 chars wide, refactor formatting of logging messages, add log levels to some logging messages, M-x whitespace-cleanup