manifest: include stats in results. webapi is unchanged.

misc/spacetime/diskwatcher.tac: remove dead code

mutable: respect the new tahoe.cfg 'shares.needed' and 'shares.total' settings

oops, update tests to match 'tahoe stats' change

cli: tahoe stats: abbreviate total sizes too

cli: 'tahoe stats': add abbreviated size to the histogram. Not sure this actually improves things.

util/abbreviate: little utility to abbreviate seconds and bytes

cli: add 'tahoe check' and 'tahoe deep-check' commands, with primitive reporting code

cli: factor out slow-http-operation to a separate module

cli: tahoe stats/manifest: change --verbose to --raw, since I want -v for --verify for check/deep-check/repair

test_system: make 'where' strings more helpful, to track down test failures better

webapi: add 'summary' string to checker results JSON

munin/tahoe_disktotal: add a 'disk used' line, since it will always be less than disktotal

munin/tahoe_introstats: add line for distinct-storage-hosts (which counts machines instead of nodes)

webapi: introducer stats: add 'announcement_distinct_hosts' to the t=json form, to show how many distinct hosts are providing e.g. storage services

'tahoe create-key-generator': fix help text

#330: convert stats-gatherer into a .tac file service, add 'tahoe create-stats-gatherer'

munin/tahoe_diskused: new plugin to show total disk space used across the grid

munin/tahoe_disktotal: new plugin to show total disk space (used and unused) in the grid

tahoe.cfg: add controls for k and N (and shares-of-happiness)

cli: add tests for 'tahoe stats --verbose'

cli: add --verbose to 'tahoe manifest', to show the raw JSON data

diskwatcher: record total-space (the size of the disk as reported by df) in the db, report it to HTTP clients. This will involve a 50-item-per-second upgrade process when it is first used on old data

dirnode manifest/stats: process more than one LIT file per tree; we were accidentally ignoring all but the first

limiter.py: fix stack blowout by inserting an eventual-send between _done and maybe_start_task. This was causing failures during a 'tahoe manifest' of a large set of directories

New credit file entry

test_cli.py: Ensure that we can read our uploaded files back

test_cli.py: use str objects instead of unicode ones

This will hopefully fix failing tests with LC_ALL=C

CLI: add 'tahoe stats', to run start-deep-stats and print the results

test_system.py: fix new 'tahoe manifest' tests to not break on windows, by providing --node-directory instead of --node-url

test for bug #534, unicode filenames

This test assure that uploading a file whose name contains unicode character
doesn't prevent further uploads in the same directory.

Fix an filename encoding issue with "tahoe cp"

web/info.py: use 128-bit ophandles instead of 64-bit

CLI: add 'tahoe manifest', which takes a directory and returns a list of things you can reach from it

create_node.py: also remove now-unused import of pkg_resources

tahoe.cfg: add tub.location, to override the location hints we include in our FURL. This replaces advertised_ip_addresses, which doesn't remain useful enough to retain it. Helps with #517 (Tor).

setup: remove pkg_resources.require() from create_node.py and add it to runner.py
Brian correctly points out that the latter is an entry point.

docs: fix cutnpasto in source:docs/logging.txt

tests: fix comment

tests: add tahoe_cp to the list of scripts that we don't actually have tests for yet

setup: the .tac files created by create_node.py call pkg_resources.require() so that they can load tahoe and twisted packages which were installed with setuptools multi-version mode
Also the create_node.py script itself uses pkg_resources.require() for the same reason.

web/info: don't let an unrecoverable file break the page (show ? instead of a size)

checker: add is_recoverable() to checker results, make our stub immutable-verifier not throw an exception on unrecoverable files, add tests

monitor: update interface definition: get_status() can return a Failure

web/operations.py: if the operation failed, render the Failure

undoing test change for native_client.php

NEWS: more minor edits

NEWS: minor edits

NEWS: mention SFTP server

client.py: oops, update FTP/SFTP config names to match current docs

remove duplicate+old docs/NEWS. The top-level NEWS file is the canonical one.

SFTP/FTP: merge user/account code, merge docs

docs: move webapi/ftp/sftp into a new frontends/ directory

ftp/sftp: move to a new frontends/ directory in preparation for factoring out password-auth component

sftpd: minor debug-logging tweak

confwiz.py - trying out a new configuration site

ftpd: include an (unused) avatar logout callback

#531: implement an SFTP frontend. Mostly works, still lots of debug messages. Still needs tests and auth-by-pubkey in accounts.file

docs/ftp.txt: correct Twisted dependency: we don't need VFS, we can use a release, as long as you apply the patch

shebang: replace "/usr/bin/python" with "/usr/bin/env python"

misc/fixshebangs.py

util: copy in pyutil.fileutil.ReopenableNamedTemporaryFile

immutable: tolerate filenode.read() with a size= that's too big, rather than hanging

util: copy in nummedobj from pyutil

util: copy in dictutil from pyutil

rollback change... move allmydatacontextmenu registration to installer.tmpl in tahoe-w32-client\installer

register the AllmydataContextMenu.dll for the context menu handler file sharing shell extension

debug catalog-shares: tolerate even more errors on bad files/directories

NEWS: update with all user-visible changes since the last update

#527: expire the cached files that are used to support Range: headers, every hour, when the file is unused and older than an hour

util/cachedir.py: add a cache-directory manager class, which expires+deletes unused files after a while

test_cli: try to fix windows again

debug/test_cli: fix error handling for catalog-shares, to make the test stop failing on windows

web: add 'Repair' button to checker results when they indicate unhealthyness. Also add the object's uri to the CheckerResults instance.

create_node.py: add 'web.static = public_html' to the initial tahoe.cfg

webapi: serve the /static URL tree from /public_html (configurable)

catalog-shares command: tolerate errors, log them to stderr, handle v2-immutable shares

test_web.py: one more line of test coverage

test_web: improve test coverage of PUT DIRURL t=uri replace=false

web: test (and fix) PUT DIRURL t=uri, which replaces a directory in-place with some other cap

web/directory.py: slight shuffle to improve test coverage

test_client.py: improve test coverage a bit

node.py: remove unused old_log() function

node.py: remove support for the old BASEDIR/authorized_keys.PORT file

move testutil into test/common_util.py, since it doesn't count as 'code under test' for our pyflakes numbers

util: move PollMixin to a separate file (pollmixin.py), so testutil can be moved into test/

control.py: removed unused testutil.PollMixin

web/filenode: oops, fix test failures, not everything has a storage index

web/filenode: add Accept-Ranges and ETag (for immutable files) headers to GET responses

#527: respond to GETs with early ranges quickly, without waiting for the whole file to download. Fixes the alacrity problems with the earlier code. Still needs cache expiration.

#527: support HTTP 'Range:' requests, using a cachefile. Adds filenode.read(consumer, offset, size) method. Still needs: cache expiration, reduced alacrity.

iputil.py: avoid a DNS lookup at startup (which may timeout tests when run on a partially-offline host) by using 198.41.0.4 instead of A.ROOT-SERVERS.NET

interfaces.py: promote immutable.encode.NotEnoughSharesError.. it isn't just for immutable files any more

interfaces.IMutableFileNode.download_best_version(): fix return value

dirnode lookup: use distinct NoSuchChildError instead of the generic KeyError when a child can't be found

storage: don't use colons in the corruption-advisory filename, since windows can't tolerate them

mutable: call remove_advise_corrupt_share when we see share corruption in mapupdate/download/check, tolerate servers that do not implement it

storage: add remote_advise_corrupt_share, for clients to tell storage servers about share corruption that they've discovered. The server logs the report.

mutable/servermap.py: fix needs_merge(), it was incorrectly claiming that mixed shares with distinct seqnums needed a merge, causing repair(force=False) to fail

test_web.test_POST_DIRURL_deepcheck: confirm that /operations/HANDLE/ works with or without the slash