TAG allmydata-tahoe-1.7.0

docs: update relnotes.txt for Tahoe-LAFS v1.7.0!
... and remove relnotes-short.txt (just use the first section of relnotes.txt for that purpose)

docs: update known_issues.txt with more detail about web browser "safe-browsing" features and slightly tweaked formatting

docs: quickstart.html: link to 1.7.0 zip file and add UTF-8 BOM

docs: more CREDITS for Kevan, plus utf-8 BOM

docs: update NEWS for release 1.7.0

docs: apply patch from duck for #937 about "tahoe run" not working on introducers

webapi.txt: fix statement about leap seconds.

running.html: Tahoe->Tahoe-LAFS in what used to be using.html, and #tahoe->#tahoe-lafs (IRC channel).

test_backupdb.py: skip test_unicode if we can't represent the test filenames.

test_web.py: correct a test that was missed in the change to not write ctime/mtime.

dirnode.py: stop writing 'ctime' and 'mtime' fields. Includes documentation and test changes.

test_storage.py: print more information on test failures.

running.html: describe where 'bin/tahoe' is only once.

Merge using.html into running.html.

Remove firewall section from running.html and say to read configuration.txt instead.

FTP-and-SFTP.txt: add Known Issues section.

FTP-and-SFTP.txt: remove description of public key format that is not actually implemented. Document that SFTP does not support server private keys with passphrases, and that FTP cannot list directories containing mutable files.

configuration.txt and servers-of-happiness.txt: 1 <= happy <= N, not k <= happy <= N. Also minor wording changes.

test_cli.py: fix test failure in CLI.test_listdir_unicode_good due to filenames returned from listdir_unicode no longer being normalized.

tahoe backup: unicode tests.

CLI: allow Unicode patterns in exclude option to 'tahoe backup'.

dirnodes: fix normalization hole where childnames in directories created by nodemaker.create_mutable/immutable_directory would not be normalized. Add a test that we normalize names coming out of a directory.

dirnode.py: comments about normalization changes.

stringutils.py: remove unused import.

test_stringutils.py: take account of the output of listdir_unicode no longer being normalized. Also use Unicode escapes, not UTF-8.

test_dirnode.py: partial tests for normalization changes.

SFTP: get 'ctime' attribute from 'tahoe:linkmotime'.

stringutils.py: don't NFC-normalize the output of listdir_unicode.

stringutils.py: Add encoding argument to quote_output. Also work around a bug in locale.getpreferredencoding on older Pythons.

Provisional patch to NFC-normalize filenames going in and out of Tahoe directories.

how_to_make_a_tahoe-lafs_release.txt: reordering, add fuse-sshfs@lists.sourceforge.list as place to send relnotes.

running.html: fix overeager replacement of 'tahoe' with 'Tahoe-LAFS', and some simplifications.

Add a specification for servers of happiness.

Note that servers of happiness only applies to immutable files for the moment

Add a note about running Tahoe-LAFS on a small grid to running.html
also Change "tahoe" and "Tahoe" to "Tahoe-LAFS" in running.html
author: Kevan Carstensen

CLI.txt: introduce 'create-alias' before 'add-alias', document Unicode argument support, and other minor updates.

test_system.py: investigate failure in allmydata.test.test_system.SystemTest.test_upload_and_download_random_key due to bytes_sent not being an int

SFTP: remove a dubious use of 'pragma: no cover'.

SFTP: test that renaming onto a just-opened file fails.

SFTP: further small improvements to test coverage. Also ensure that after a test failure, later tests don't fail spuriously due to the checks for heisenfile leaks.

SFTP: further improve test coverage (paths containing '.', bad data for posix-rename extension, and error in test of openShell).

SFTP: improve test coverage for no-write on mutable files, and check for heisenfile table leaks in all relevant tests. Delete test_memory_leak since it is now redundant.

SFTP: add test for extension of file opened with FXF_APPEND.

NEWS: add UTF-8 coding declaration.

tests: bump up the timeout on this iputil test from 2s to 4s

docs: a few tweaks to NEWS and CREDITS and make quickstart.html point to 1.7.0β!

docs: Update NEWS file with new features and bugfixes in 1.7.0

docs: wording fix, thanks to Jeremy Visser, fix #987

SFTP: fix most significant memory leak described in #1045 (due to a file being added to all_heisenfiles under more than one direntry when renamed).

test_stringutils.py: Fix test failure on CentOS builder, possibly Python 2.4.3-related.

Fix for Unicode-related test failures on Zooko's OS X 10.6 machine.

docs: update relnote.txt for Tahoe-LAFS v1.7.0β

stringutils.py, sftpd.py: Portability fixes for Python <= 2.5.

setup: move the mock library from install_requires to tests_require (re: #1016)

Back out Windows-specific Unicode argument support for v1.7.

_auto_deps.py: allow Python 2.4.3 on Redhat-based distributions.

setup: show-tool-versions.py: print out the output from the unix command "locale" and re-arrange encoding data a little bit

setup: add zope.interface to the packages described by show-tool-versions.py

CREDITS: update François's Description

CREDITS: jsgf

setup: rename the setuptools_trial .egg that comes bundled in the base dir to not have "-py2.6" in its name, since it works with other versions of python as well

setup: rename the darcsver .egg that comes bundled in the base dir to not have "-py2.6" in its name, since it works with other versions of python as well

SFTP: suppress NoSuchChildError if heisenfile attributes have been updated in setAttrs, in the case where the parent is available.

SFTP: ignore permissions when opening a file (needed for sshfs interoperability).

test_web.py: fix pyflakes warnings introduced by byterange patch.

Improve HTTP/1.1 byterange handling

Fix parsing of a Range: header to support:
 - multiple ranges (parsed, but not returned)
 - suffix byte ranges ("-2139")
 - correct handling of incorrectly formatted range headers
   (correct behaviour is to ignore the header and return the full
    file)
 - return appropriate error for ranges outside the file

Multiple ranges are parsed, but only the first range is returned.
Returning multiple ranges requires using the multipart/byterange
content type.

tests: bump up the timeout on these tests; MM's buildslave is sometimes extremely slow on tests, but it will complete them if given enough time. MM is working on making that buildslave more predictable in how long it takes to run tests.

test_cli.py: remove invalid 'test_listdir_unicode_bad' test.

check_memory.py: adapt to servers-of-happiness changes.

show-tool-versions.py: platform.linux_distribution() is not always available

show-tool-versions.py: show platform.linux_distribution()

Remove the 'tahoe debug consolidate' subcommand.

common_http.py, tahoe_cp.py: Fix an error in calling the superclass constructor in HTTPError and MissingSourceError (introduced by the Unicode fixes).

tests: drastically increase timeout of this very time-consuming test in honor of François's ARM box

setup: update authorship, datestamp, licensing, and add special exceptions to allow combination with Eclipse- and QPL- licensed code

FTP-and-SFTP.txt: minor technical correction to doc for 'no-write' flag.

test_stringutils.py: trivial error in exception message for skipped test.

More Unicode test fixes.

Unicode fixes for platforms with non-native-Unicode filesystems.

Unicode fixes.

setup: organize misc/ scripts and tools and remove obsolete ones
This is for ticket #1068.

quickstart.html: link to snapshots page, sorted with most recent first.

quickstart.html: We haven't released 1.7beta yet.

setup: loosen the Desert Island test to allow it to check the network for new packages as long as it doesn't actually download any
(You can look but don't touch.)

Raise Python version requirement to 2.4.4 for non-UCS-2 builds, to avoid a critical Python security bug.

setup: have the buildbots print out locale.getpreferredencoding(), locale.getdefaultlocale(), locale.getlocale(), and os.path.supports_unicode_filenames
Even though that latter one is completely useless, I'm curious.

unicode tests: fix missing import

unicode: make test_cli test a non-ascii argument, and make the fallback term encoding be locale.getpreferredencoding()

unicode: always decode json manifest as utf-8 then encode for stdout
pyflakes pointed out that the exception handler fallback called an un-imported function, showing that the fallback wasn't being exercised.
I'm not 100% sure that this patch is right and would appreciate François or someone reviewing it.

fix flakes

fix syntax of assertion handling that isn't portable to older versions of Python

test_stringutils.py: Skip test test_listdir_unicode_good if filesystem supports only ASCII filenames

test_stringutils.py: Skip test_listdir_unicode on mocked platform which cannot store non-ASCII filenames

test_stringutils.py: Add a test class for OpenBSD 4.1 with LANG=C

test_stringutils.py: Mock the open() call in test_open_unicode

This test ensure that open(a_unicode_string) is used on Unicode platforms
(Windows or MacOS X) and that open(a_correctly_encoded_bytestring) on other
platforms such as Unix.

test_stringutils.py: Fix a trivial Python 2.4 syntax incompatibility

test_cli.py: Fix tests when sys.stdout.encoding=None and refactor this code into functions

Fix handling of correctly encoded unicode filenames (#534)

Tahoe CLI commands working on local files, for instance 'tahoe cp' or 'tahoe
backup', have been improved to correctly handle filenames containing non-ASCII
characters.

In the case where Tahoe encounters a filename which cannot be decoded using the
system encoding, an error will be returned and the operation will fail.  Under
Linux, this typically happens when the filesystem contains filenames encoded
with another encoding, for instance latin1, than the system locale, for
instance UTF-8.  In such case, you'll need to fix your system with tools such
as 'convmv' before using Tahoe CLI.

All CLI commands have been improved to support non-ASCII parameters such as
filenames and aliases on all supported Operating Systems except Windows as of
now.

stringutils.py: Unicode helper functions + associated tests

This file contains a bunch of helper functions which converts
unicode string from and to argv, filenames and stdout.