#542 'tahoe create-key-generator': fix the .tac file this creates to be compatible with modern code, add a test

storage.py: fix minor typo in comment

storage: replace sizelimit with reserved_space, make the stats 'disk_avail' number incorporate this reservation

util/abbreviate: add abbreviated-size parser

wui/wapi: change the default port number from 8123 to 3456 to avoid conflict with TorButton
See ticket #536 for details.

setup: move the requirement on simplejson from setup.py to _auto_deps.py, and loosen it from >= 2.0.5 to > 1.8.1
We'll see if this fixes the tests on all of our current buildslaves, and if it does then I'll be happy to leave it at "> 1.8.1" for now, even though I don't know exactly what versions of simplejson changed exactly what behavior that interacts with exactly what environment.  See http://allmydata.org/trac/tahoe/ticket/534 for uncertainties.

setup.py: Require simplejson version >= 2.0.5

mutable publish: reinstate the foolscap-reference-token-bug workaround, both for the original reasons and because of an apparent new foolscap bug that's triggered by reference tokens. See #541 for details.

setup: fix missing import -- thanks, pyflakes

setup: correctly detect Arch Linux in platform description

dirnode manifest: add verifycaps, both to internal API and to webapi. This will give the manual-GC tools more to work with, so they can estimate how much space will be freed.

control.py: use get_buckets() instead of get_version() to measure ping time, because the latter changed recently

upload: when using a Helper, insist that it provide protocols/helper/v1 . Related to #538.

upload: don't use servers which can't support the share size we need. This ought to avoid #439 problems. Some day we'll have a storage server which advertises support for a larger share size. No tests yet.

#538: fetch version and attach to the rref. Make IntroducerClient demand v1 support.

#538: add remote_get_version() to four main Referenceable objects: Introducer Service, Storage Server, Helper, CHK Upload Helper. Remove unused storage-server get_versions().

setup: turn off --multi-version until I can figure out why it breaks test_runner

setup: require setuptools >= 0.6c7 to run

setup: use "setup.py develop --multi-version" so that if there is a too-old version of a dependency installed this doesn't prevent Tahoe's "develop" and run-in-place from working

setup: we require setuptools > 0.6a9 in order to parse requirements that have a dot in them such as "zope.interface"
In the near future we might start actually relying on setuptools's pkg_resources's "require()" function to make modules importable, so we can't just skip zope.interface.

test_dirnode: add an explainError call

manifest: add storage-index strings to the json results

manifest: include stats in results. webapi is unchanged.

misc/spacetime/diskwatcher.tac: remove dead code

mutable: respect the new tahoe.cfg 'shares.needed' and 'shares.total' settings

oops, update tests to match 'tahoe stats' change

cli: tahoe stats: abbreviate total sizes too

cli: 'tahoe stats': add abbreviated size to the histogram. Not sure this actually improves things.

util/abbreviate: little utility to abbreviate seconds and bytes

cli: add 'tahoe check' and 'tahoe deep-check' commands, with primitive reporting code

cli: factor out slow-http-operation to a separate module

cli: tahoe stats/manifest: change --verbose to --raw, since I want -v for --verify for check/deep-check/repair

test_system: make 'where' strings more helpful, to track down test failures better

webapi: add 'summary' string to checker results JSON

munin/tahoe_disktotal: add a 'disk used' line, since it will always be less than disktotal

munin/tahoe_introstats: add line for distinct-storage-hosts (which counts machines instead of nodes)

webapi: introducer stats: add 'announcement_distinct_hosts' to the t=json form, to show how many distinct hosts are providing e.g. storage services

'tahoe create-key-generator': fix help text

#330: convert stats-gatherer into a .tac file service, add 'tahoe create-stats-gatherer'

munin/tahoe_diskused: new plugin to show total disk space used across the grid

munin/tahoe_disktotal: new plugin to show total disk space (used and unused) in the grid

tahoe.cfg: add controls for k and N (and shares-of-happiness)

cli: add tests for 'tahoe stats --verbose'

cli: add --verbose to 'tahoe manifest', to show the raw JSON data

diskwatcher: record total-space (the size of the disk as reported by df) in the db, report it to HTTP clients. This will involve a 50-item-per-second upgrade process when it is first used on old data

dirnode manifest/stats: process more than one LIT file per tree; we were accidentally ignoring all but the first

limiter.py: fix stack blowout by inserting an eventual-send between _done and maybe_start_task. This was causing failures during a 'tahoe manifest' of a large set of directories

New credit file entry

test_cli.py: Ensure that we can read our uploaded files back

test_cli.py: use str objects instead of unicode ones

This will hopefully fix failing tests with LC_ALL=C

CLI: add 'tahoe stats', to run start-deep-stats and print the results

test_system.py: fix new 'tahoe manifest' tests to not break on windows, by providing --node-directory instead of --node-url

test for bug #534, unicode filenames

This test assure that uploading a file whose name contains unicode character
doesn't prevent further uploads in the same directory.

Fix an filename encoding issue with "tahoe cp"

web/info.py: use 128-bit ophandles instead of 64-bit

CLI: add 'tahoe manifest', which takes a directory and returns a list of things you can reach from it

create_node.py: also remove now-unused import of pkg_resources

tahoe.cfg: add tub.location, to override the location hints we include in our FURL. This replaces advertised_ip_addresses, which doesn't remain useful enough to retain it. Helps with #517 (Tor).

setup: remove pkg_resources.require() from create_node.py and add it to runner.py
Brian correctly points out that the latter is an entry point.

docs: fix cutnpasto in source:docs/logging.txt

tests: fix comment

tests: add tahoe_cp to the list of scripts that we don't actually have tests for yet

setup: the .tac files created by create_node.py call pkg_resources.require() so that they can load tahoe and twisted packages which were installed with setuptools multi-version mode
Also the create_node.py script itself uses pkg_resources.require() for the same reason.

web/info: don't let an unrecoverable file break the page (show ? instead of a size)

checker: add is_recoverable() to checker results, make our stub immutable-verifier not throw an exception on unrecoverable files, add tests

monitor: update interface definition: get_status() can return a Failure

web/operations.py: if the operation failed, render the Failure

undoing test change for native_client.php

NEWS: more minor edits

NEWS: minor edits

NEWS: mention SFTP server

client.py: oops, update FTP/SFTP config names to match current docs

remove duplicate+old docs/NEWS. The top-level NEWS file is the canonical one.

SFTP/FTP: merge user/account code, merge docs

docs: move webapi/ftp/sftp into a new frontends/ directory

ftp/sftp: move to a new frontends/ directory in preparation for factoring out password-auth component

sftpd: minor debug-logging tweak

confwiz.py - trying out a new configuration site

ftpd: include an (unused) avatar logout callback

#531: implement an SFTP frontend. Mostly works, still lots of debug messages. Still needs tests and auth-by-pubkey in accounts.file

docs/ftp.txt: correct Twisted dependency: we don't need VFS, we can use a release, as long as you apply the patch

shebang: replace "/usr/bin/python" with "/usr/bin/env python"

misc/fixshebangs.py

util: copy in pyutil.fileutil.ReopenableNamedTemporaryFile

immutable: tolerate filenode.read() with a size= that's too big, rather than hanging

util: copy in nummedobj from pyutil

util: copy in dictutil from pyutil

rollback change... move allmydatacontextmenu registration to installer.tmpl in tahoe-w32-client\installer

register the AllmydataContextMenu.dll for the context menu handler file sharing shell extension

debug catalog-shares: tolerate even more errors on bad files/directories

NEWS: update with all user-visible changes since the last update

#527: expire the cached files that are used to support Range: headers, every hour, when the file is unused and older than an hour

util/cachedir.py: add a cache-directory manager class, which expires+deletes unused files after a while

test_cli: try to fix windows again

debug/test_cli: fix error handling for catalog-shares, to make the test stop failing on windows

web: add 'Repair' button to checker results when they indicate unhealthyness. Also add the object's uri to the CheckerResults instance.

create_node.py: add 'web.static = public_html' to the initial tahoe.cfg

webapi: serve the /static URL tree from /public_html (configurable)

catalog-shares command: tolerate errors, log them to stderr, handle v2-immutable shares

test_web.py: one more line of test coverage