TAG allmydata-tahoe-1.5.0

docs: update install.html to point to 1.5.0 and edit the instructions (broadening the recommendation on Python versions to bless >= v2.4.2 <= v2.6.x)

docs: relnotes.txt: fix edits noticed by Amber

docs: update relnotes.txt, relnotes-short.txt, and others documentation bits for v1.5.0 release!

docs: CREDITS: boost Shawn Willden's CREDITS
(The better of a Tahoe-LAFS hacker you are, the shorter and more general your D: line.)

docs: about.html: edit (hopefully improve) the "What Makes Tahoe-LAFS Different" copy

docs: add a couple of details to NEWS, change date and a bit of formatting, name of 'Tahoe-LAFS' project

ftpd: update docs, point to Twisted ticket for the proposed patch

test_runner.py: tolerate symlinks in the source tree directory's ancestor path

Lossmodel updates

Various improvements to the lossmodel, plus addition of README.lossmodel
that provides a link to the PDF.

setup: tidy up formatting and comments in _auto_deps.py

docs: remove extra <h1> from install.html (thanks, David-Sarah Hopwood)

docs: mention pywin32 earlier

setup: mark stdeb as setup_requires if "sdist_dsc" is in sys.argv

docs: introducing "provider-independent security"; Nathan Wilcox gave me good advice on how to be more specific in terminology when making security claims so as not fit in with the background noise of overblown and indefensible claims that is always buzzing in the security world

NEWS: more minor edits

docs: edit about.html, add P.S. about expansion of LAFS, add Andrew Orlowski to media list

docs: update NEWS, about.html, relnotes-short.txt, and known_issues.txt in preparation for v1.5.0
Especially note that strong claims of specialness that I've added, e.g. in about.html .

debian/control: update binary package deps to pycryptopp-0.5.15

docs: a couple of minor edits to NEWS and docs/architecture.txt

Touch up #705 changes:

 webapi.txt: clarify replace=only-files argument, mention replace= on POST t=uri
 test_cli.py: insert whitespace between logical operations
 web.common.parse_replace_arg: make it case-insensitive, to match the docs

CREDITS: format to <= 79 columns, add Marc Tooley, update Kevan Carstensen

iputil: added "openbsd3" => "bsd" and "openbsd4" => "bsd" per tdelaet's report; should fix ticket #768

Add tests for tahoe mv behavior

Add tests for tahoe mv help text

Implement more clearly defined moving semantics in tahoe_mv.py

Update tahoe mv help text.

Add tests for parse_replace_arg()

Add tests for new PUT behavior

Alter Adder + Adder tests to look for 'only-files' instead of 'only_files'

Alter filenode.py to use parse_replace_arg

Alter directory.py to use parse_replace_arg()

Add a function to parse arguments for the replace parameter

Update webapi docs to reference new PUT behavior.

trivial: remove obsolete comment text

docs/backupdb.txt: small fixes, thanks to David Triendl

directories: minor change: fix warning message from the benchmarking script

Add unit tests for the Adder in dirnode.py

Add 'only_files' option to the overwrite field in Adder

rename NewDirectoryNode to DirectoryNode, NewDirectoryURI to DirectoryURI

interfaces: remove dead code, FileNode_ and EncryptedThing constraints

introduction/storage-broker: add assertions of serverids being the right type and of internal consistency between the number of storage servers known and the number of storage servers

upload: fix #758 recursion-loop in peer-selection when servers report errors.
The bug was in the code that handles a third-or-later pass, and was
previously untested.

setup: clarify the way that we host two directories of dependencies: one is source distributions and the other is binary distributions

'tahoe stats': tolerate empty directories. Closes #693.

node.py: record pid in twisted log at startup. Closes #476.

Allow tests to pass with -OO by turning some AssertionErrors (the ones that
we actually exercise during tests) into more specific exceptions, so they
don't get optimized away. The best rule to follow is probably this: if an
exception is worth testing, then it's part of the API, and AssertionError
should never be part of the API. Closes #749.

setup: tell build to search a directory (hosted on allmydata.org) which contains eggs

wui: fix test for welcome page

wui: adjust headers/titles and "Attach something to this directory" text in accordance with #691
Also name it as "TahoeLAFS" in this text.

mac: emit the stdout and stderr from a failed call to Allmydata (this is very useful diagnostic info)

mac: improve shutdown and clean-up after the test of the macintosh packaging

setup: add "test_mac_diskimage" command which attempts to mount and use a .dmg to make sure it has a good Tahoe distribution in it

dirnode: finish renaming "iv" to "salt" in the code and the hash tag

dirnode.py/_encrypt_rwcap: rename IV to "salt", which is more accurate

dirnode.py: security bug: also use child writecap to derive child enc key,
not just the dirnode writecap. The previous code (which only hashed the
dirnode writecap) would use the same key for all children, which is very bad.
This is the correct implementation of #750.

NEWS: update with all recent changes

proposed/mutable-DSA.txt: add some new design criteria

Use CachingDict instead of dict in dirnode.py

directories: fix semantic conflict between my "keep track of position" optimization patch and Kevan's "cache serialized entries" optimization patch

Modify bench_dirnode.py to use CachingDict.

Add tests for CachingDict, _pack_contents, _unpack_contents

trivial: removed unused import noticed by pyflakes

directories: make the IV for the writecaps in directory entries be computed from the secure hash of the writecap itself
This makes encoding of directory entries deterministic, and it is also a tad faster on Macbook Pro than getting a random IV with os.urandom(16).

tests: raise the timeout on pollmixin from 100s to 1000s -- it looks like it may have triggered too eagerly on Zandr's 266 MHz armel

setup: add sys.maxunicode to the show-tool-versions output in order to investigate bugs.python.org/setuptools/issue78

immutable: base32-encode the keys to generate cache filenames that will work on all platforms

directories: make initialization of the download cache lazy
If you open up a directory containing thousands of files, it currently computes the cache filename and checks for the cache file on disk immediately for each immutble file in that directory.  With this patch, it delays those steps until you try to do something with an immutable file that could use the cache.

Add CachingDict dict subclass to dirnode.py

directories: rename internal data member download_cache to download_cache_dirman (benchmarks set this internal member and use the new name, so changing this makes the bench_dirnode.py work again)

directories: keep track of your position as you decode netstring after netstring from an input buffer instead of copying the trailing part
This makes decoding linear in the number of netstrings instead of O(N^2).

directories: in bench_dirnode.py, use a real CacheDirectoryManager instead of a fake one (because CacheDirectoryManager is a significant user of CPU and/or time)

directories: make the profiling behavior of bench_dirnode.py accessible by adding '--profile' to the cmdline

setup: increase requirement on pycryptopp to >= 0.5.15

directories: update the directory benchmarks to exercise the unpack-and-repack functionality, and add optional profiling

test/benchmark: benchmark the time to pack and unpack dirnodes
See also the prof_benchmarks() function in this file which will run the benchmarks under profiling.

setup: the mac-exe build (using py2app) requires macholib>=1.2.
Here is someone else's description of this problem:
http://rtmpy.org/ticket/7

clean up debian packaging: we have control files for etch/lenny/sid, and
everything else uses one of those. Add dependency on python-pysqlite2 for
platforms that use py2.4 by default. Update foolscap dependency to 0.4.1.

update NEWS to cover all recent changes, sort by end-user importance

Tolerate unknown URI types in directory structures. Part of #683.

The idea is that future versions of Tahoe will add new URI types that this
version won't recognize, but might store them in directories that we *can*
read. We should handle these "objects from the future" as best we can.
Previous releases of Tahoe would just explode. With this change, we'll
continue to be able to work with everything else in the directory.

The code change is to wrap anything we don't recognize as an UnknownNode
instance (as opposed to a FileNode or DirectoryNode). Then webapi knows how
to render these (mostly by leaving fields blank), deep-check knows to skip
over them, deep-stats counts them in "count-unknown". You can rename and
delete these things, but you can't add new ones (because we wouldn't know how
to generate a readcap to put into the dirnode's rocap slot, and because this
lets us catch typos better).

test_client.py: minor refactoring of BASECONFIG usage

create_node_from_uri: take both writecap+readcap, move logic out of dirnode.py

dirnode.py: prepare to preserve both rwcap+rocap when copying

This will make it easier to tolerate unknown nodes safely.

interfaces.py: wrap some lines to 80cols

cli: webopen: when called with no arguments, open the Welcome page

mutable repairer: skip repair of readcaps instead of throwing an exception.
This should improve the behavior of #625 a bit: at least all the files will
get repaired.

interfaces.py: improve ICheckAndRepairResults docs a bit

repairer.py: wrap to 80cols. No code changes.

setup: require pycryptopp>=0.5.14 if on Windows and with Python>=2.6

edit NEWS

NEWS: list all user-visible changes since 1.4.1 . Needs lots of editing.

* find-trailing-spaces.py: exit rc=1 if whitespace found, to be a pre-commit hook

use 522-bit RSA keys in all unit tests (except one)

This reduces the total test time on my laptop from 400s to 283s.
* src/allmydata/test/test_system.py (SystemTest.test_mutable._test_debug):
  Remove assertion about container_size/data_size, this changes with keysize
  and was too variable anyways.
* src/allmydata/mutable/filenode.py (MutableFileNode.create): add keysize=
* src/allmydata/dirnode.py (NewDirectoryNode.create): same
* src/allmydata/client.py (Client.DEFAULT_MUTABLE_KEYSIZE): add default,
  this overrides the one in MutableFileNode

remove trailing whitespace

remove trailing whitespace from some util classes

repairer: raise a better exception when faced with a readonly filenode. Still
produces an error, though.

mutable/filenode.py: set _writekey to None, rather than leaving it missing

This will at least turn the really really weird error when a repair of a
readonly mutable file is attempted into a merely really weird assertion that
mentions "repair currently requires a writecap".

one last tweak

more 'tahoe cp' docs tweaks

cli.py: minor tweaks to test posthooks