Improve HTTP/1.1 byterange handling

Fix parsing of a Range: header to support:
 - multiple ranges (parsed, but not returned)
 - suffix byte ranges ("-2139")
 - correct handling of incorrectly formatted range headers
   (correct behaviour is to ignore the header and return the full
    file)
 - return appropriate error for ranges outside the file

Multiple ranges are parsed, but only the first range is returned.
Returning multiple ranges requires using the multipart/byterange
content type.

tests: bump up the timeout on these tests; MM's buildslave is sometimes extremely slow on tests, but it will complete them if given enough time. MM is working on making that buildslave more predictable in how long it takes to run tests.

test_cli.py: remove invalid 'test_listdir_unicode_bad' test.

check_memory.py: adapt to servers-of-happiness changes.

show-tool-versions.py: platform.linux_distribution() is not always available

show-tool-versions.py: show platform.linux_distribution()

Remove the 'tahoe debug consolidate' subcommand.

common_http.py, tahoe_cp.py: Fix an error in calling the superclass constructor in HTTPError and MissingSourceError (introduced by the Unicode fixes).

tests: drastically increase timeout of this very time-consuming test in honor of François's ARM box

setup: update authorship, datestamp, licensing, and add special exceptions to allow combination with Eclipse- and QPL- licensed code

FTP-and-SFTP.txt: minor technical correction to doc for 'no-write' flag.

test_stringutils.py: trivial error in exception message for skipped test.

More Unicode test fixes.

Unicode fixes for platforms with non-native-Unicode filesystems.

Unicode fixes.

setup: organize misc/ scripts and tools and remove obsolete ones
This is for ticket #1068.

quickstart.html: link to snapshots page, sorted with most recent first.

quickstart.html: We haven't released 1.7beta yet.

setup: loosen the Desert Island test to allow it to check the network for new packages as long as it doesn't actually download any
(You can look but don't touch.)

Raise Python version requirement to 2.4.4 for non-UCS-2 builds, to avoid a critical Python security bug.

setup: have the buildbots print out locale.getpreferredencoding(), locale.getdefaultlocale(), locale.getlocale(), and os.path.supports_unicode_filenames
Even though that latter one is completely useless, I'm curious.

unicode tests: fix missing import

unicode: make test_cli test a non-ascii argument, and make the fallback term encoding be locale.getpreferredencoding()

unicode: always decode json manifest as utf-8 then encode for stdout
pyflakes pointed out that the exception handler fallback called an un-imported function, showing that the fallback wasn't being exercised.
I'm not 100% sure that this patch is right and would appreciate François or someone reviewing it.

fix flakes

fix syntax of assertion handling that isn't portable to older versions of Python

test_stringutils.py: Skip test test_listdir_unicode_good if filesystem supports only ASCII filenames

test_stringutils.py: Skip test_listdir_unicode on mocked platform which cannot store non-ASCII filenames

test_stringutils.py: Add a test class for OpenBSD 4.1 with LANG=C

test_stringutils.py: Mock the open() call in test_open_unicode

This test ensure that open(a_unicode_string) is used on Unicode platforms
(Windows or MacOS X) and that open(a_correctly_encoded_bytestring) on other
platforms such as Unix.

test_stringutils.py: Fix a trivial Python 2.4 syntax incompatibility

test_cli.py: Fix tests when sys.stdout.encoding=None and refactor this code into functions

Fix handling of correctly encoded unicode filenames (#534)

Tahoe CLI commands working on local files, for instance 'tahoe cp' or 'tahoe
backup', have been improved to correctly handle filenames containing non-ASCII
characters.

In the case where Tahoe encounters a filename which cannot be decoded using the
system encoding, an error will be returned and the operation will fail.  Under
Linux, this typically happens when the filesystem contains filenames encoded
with another encoding, for instance latin1, than the system locale, for
instance UTF-8.  In such case, you'll need to fix your system with tools such
as 'convmv' before using Tahoe CLI.

All CLI commands have been improved to support non-ASCII parameters such as
filenames and aliases on all supported Operating Systems except Windows as of
now.

stringutils.py: Unicode helper functions + associated tests

This file contains a bunch of helper functions which converts
unicode string from and to argv, filenames and stdout.

Add dependency on Michael Foord's mock library

Resolve merge conflict for sftpd.py

SFTP: possible fix for metadata times being shown as the epoch.

SFTP: further improvements to test coverage.

SFTP: improve test coverage. Also make creating a directory fail when permissions are read-only (rather than ignoring the permissions).

dirnode.py: fix a bug in the no-write change for Adder, and improve test coverage. Add a 'metadata' argument to create_subdirectory, with documentation. Also update some comments in test_dirnode.py made stale by the ctime/mtime change.

SFTP: fix a bug that caused the temporary files underlying EncryptedTemporaryFiles not to be closed.

SFTP: changes for #1063 ('no-write' field) including comment:1 (clearing owner write permission diminishes to a read cap). Includes documentation changes, but not tests for the new behaviour.

SFTP: the same bug as in _sync_heisenfiles also occurred in two other places.

SFTP: another try at fixing the _sync_heisenfiles bug.

SFTP: fix silly bug in _sync_heisenfiles ('f is not ignore' vs 'not (f is ignore)').

SFTP: log when a sync completes.

SFTP: fix bug in previous logging patch.

SFTP: more logging to track down OpenOffice hang.

SFTP: avoid blocking close on a heisenfile that has been abandoned or never changed. Also, improve the logging to help track down a case where OpenOffice hangs on opening a file with FXF_READ|FXF_WRITE.

Move suppression of DeprecationWarning about BaseException.message from sftpd.py to main __init__.py. Also, remove the global suppression of the 'integer argument expected, got float' warning, which turned out to be a bug.

SFTP: cater to clients that assume a file is created as soon as they have made an open request; also, fix some race conditions associated with closing a file at about the same time as renaming or removing it.

SFTP: 'sync' any open files at a direntry before opening any new file at that direntry. This works around the sshfs misbehaviour of returning success to clients immediately on close.

SFTP: handle removing a file while it is open. Also some simplifications of the logout handling.

SFTP: a posix-rename response should actually return an FXP_STATUS reply, not an FXP_EXTENDED_REPLY as Twisted Conch assumes. Work around this by raising an SFTPError with code FX_OK.

SFTP: fix problem with posix-rename code returning a Deferred for the renamed filenode, not for the result of the request (an empty string).

SFTP: fix time handling to make sure floats are not passed into twisted.conch, and to print times in the future less ambiguously in directory listings.

SFTP: name of the POSIX rename extension should be 'posix-rename@openssh.com', not 'extposix-rename@openssh.com'.

SFTP: avoid race condition where .write could be called on an OverwriteableFileConsumer after it had been closed.

SFTP: log tracebacks for RAISEd exceptions.

SFTP: more logging to investigate behaviour of getAttrs(path).

SFTP: fix pyflakes warnings; drop 'noisy' versions of eventually_callback and eventually_errback; robustify conversion of exception messages to UTF-8.

SFTP: fixes and test cases for renaming of open files.

SFTP: Increase test_sftp timeout to cater for francois' ARM buildslave.

SFTP: Fix error in support for getAttrs on an open file, to index open files by directory entry rather than path. Extend that support to renaming open files. Also, implement the extposix-rename@openssh.org extension, and some other minor refactoring.

SFTP tests: fix test_openDirectory_and_attrs that was failing in timezones west of UTC.

SFTP: allow getAttrs to succeed on a file that has been opened for creation but not yet uploaded or linked (part of #1050).

SFTP: improve logging so that results of requests are (usually) logged.

SFTP: add tests for more combinations of open flags.

SFTP: allow FXF_WRITE | FXF_TRUNC (#1050).

SFTP: remove another case where we were logging data.

SFTP: avoid logging all data passed to callbacks.

SFTP: fixes related to reporting of permissions (needed for sshfs).

SFTP: change error code returned for ExistingChildError to FX_FAILURE (fixes gvfs with some picky programs such as gedit).

SFTP: fixed bugs that caused hangs during write (#1037).

SFTP: work around a probable bug in twisted.conch.ssh.session:loseConnection(). Also some minor error handling cleanups.

SFTP: Support statvfs extensions, avoid logging actual data, and decline shell sessions politely.

SFTP: fix error in SFTPUserHandler arguments introduced by execCommand patch.

SFTP: implement execCommand to interoperate with clients that issue a 'df -P -k /' command. Also eliminate use of Zope adaptation.

sftpd.py: 'log.OPERATIONAL' should be just 'OPERATIONAL'.

Attempt to fix #1040 by making SFTPUser implement ISession.

Eliminate Windows newlines from sftpd.py.

Update SFTP implementation and tests: fix #1038 and switch to foolscap logging; also some code reorganization.

Tests for new SFTP implementation

New SFTP implementation: mutable files, read/write support, streaming download, Unicode filenames, and more

setup: adjust make clean target to ignore our bundled build tools

setup: bundle a copy of setuptools_trial as an unzipped egg in the base dir of the Tahoe-LAFS source tree
This is to work-around this Distribute issue:
http://bitbucket.org/tarek/distribute/issue/55/revision-control-plugin-automatically-installed-as-a-build-dependency-is-not-present-when-another-build-dependency-is-being

setup: bundle a copy of darcsver in unzipped egg form in the root of the Tahoe-LAFS source tree
This is to work-around this Distribute issue:
http://bitbucket.org/tarek/distribute/issue/55/revision-control-plugin-automatically-installed-as-a-build-dependency-is-not-present-when-another-build-dependency-is-being

quickstart.html: warn against installing Python at a path containing spaces.

setup: undo the previous patch to quote the executable in scripts
The problem isn't in the script, it is in the cli.exe script that is built by setuptools. This might be related to
http://bugs.python.org/issue6792
and
http://bugs.python.org/setuptools/issue2
Or it might be a separate issue involving the launcher.c code e.g. http://tahoe-lafs.org/trac/zetuptoolz/browser/launcher.c?rev=576#L210 and its handling of the interpreter name.

setup: put quotes around the path to executable in case it has spaces in it, when building a tahoe.exe for win32

Add must_exist, must_be_directory, and must_be_file arguments to DirectoryNode.delete. This will be used to fixes a minor condition in the SFTP frontend.

Fix test failures in test_web caused by changes to web page titles in #1062. Also, change a 'target' field to '_blank' instead of 'blank' in welcome.xhtml.

misc/show-tool-versions.py: Display additional Python interpreter encoding informations (stdout, stdin and filesystem)

dirnode.py: Fix bug that caused 'tahoe' fields, 'ctime' and 'mtime' not to be updated when new metadata is present.

dirnode.py: Fix #1034 (MetadataSetter does not enforce restriction on setting 'tahoe' subkeys), and expose the metadata updater for use by SFTP. Also, support diminishing a child cap to read-only if 'no-write' is set in the metadata.

Change doc comments in interfaces.py to take into account unknown nodes.

Trivial whitespace changes.

Suppress 'integer argument expected, got float' DeprecationWarning everywhere

Change shouldFail to avoid Unicode errors when converting Failure to str

SFTP: relax pyasn1 version dependency to >= 0.0.8a.