test_web: add get_permuted_peers, to unbreak recent checker_results change

web checker_results: include a table of servers in permuted order, so you can see the places where new servers have been inserted

test_system.py: assert less about the stats we get, since shares (and thus allocate() calls) are distributed randomly

stats: don't return booleans: it violates the schema. Add a test.

test_system.py: don't ask the stats-gatherer to poll: it tolerates failures, so it isn't really giving us enough test coverage. Removing the call will make it more clear that we need to improve the tests later

confwiz.py - removing hardcoded version number

CLI: check for pre-existing aliases in 'tahoe create-alias' and 'tahoe add-alias'

test_cli: pass rc out of do_cli() too

setup: one more address to send release announcements to

setup: another note about the process of making a tahoe release: mail to duplicity-talk@nongnu.org

test_storage.py: more windows-vs-readonly-storage fixes

docs/webapi.txt: update helper section to discuss tahoe.cfg

docs/webapi.txt: update to discuss tahoe.cfg, not BASEDIR/webport

storage.py: oops, fix windows again, readonly_storage wasn't getting picked up properly

test_download.py: remove extra base32 import

test_download: test both mutable and immutable pre-generated shares

test_download.py: added 'known-answer-tests', to make sure current code can download a file that was created by earlier code

docs/configuration.txt: fix minor typo

storage.py: unbreak readonly_storage=True on windows

#542 'tahoe create-key-generator': fix the .tac file this creates to be compatible with modern code, add a test

storage.py: fix minor typo in comment

storage: replace sizelimit with reserved_space, make the stats 'disk_avail' number incorporate this reservation

util/abbreviate: add abbreviated-size parser

wui/wapi: change the default port number from 8123 to 3456 to avoid conflict with TorButton
See ticket #536 for details.

setup: move the requirement on simplejson from setup.py to _auto_deps.py, and loosen it from >= 2.0.5 to > 1.8.1
We'll see if this fixes the tests on all of our current buildslaves, and if it does then I'll be happy to leave it at "> 1.8.1" for now, even though I don't know exactly what versions of simplejson changed exactly what behavior that interacts with exactly what environment.  See http://allmydata.org/trac/tahoe/ticket/534 for uncertainties.

setup.py: Require simplejson version >= 2.0.5

mutable publish: reinstate the foolscap-reference-token-bug workaround, both for the original reasons and because of an apparent new foolscap bug that's triggered by reference tokens. See #541 for details.

setup: fix missing import -- thanks, pyflakes

setup: correctly detect Arch Linux in platform description

dirnode manifest: add verifycaps, both to internal API and to webapi. This will give the manual-GC tools more to work with, so they can estimate how much space will be freed.

control.py: use get_buckets() instead of get_version() to measure ping time, because the latter changed recently

upload: when using a Helper, insist that it provide protocols/helper/v1 . Related to #538.

upload: don't use servers which can't support the share size we need. This ought to avoid #439 problems. Some day we'll have a storage server which advertises support for a larger share size. No tests yet.

#538: fetch version and attach to the rref. Make IntroducerClient demand v1 support.

#538: add remote_get_version() to four main Referenceable objects: Introducer Service, Storage Server, Helper, CHK Upload Helper. Remove unused storage-server get_versions().

setup: turn off --multi-version until I can figure out why it breaks test_runner

setup: require setuptools >= 0.6c7 to run

setup: use "setup.py develop --multi-version" so that if there is a too-old version of a dependency installed this doesn't prevent Tahoe's "develop" and run-in-place from working

setup: we require setuptools > 0.6a9 in order to parse requirements that have a dot in them such as "zope.interface"
In the near future we might start actually relying on setuptools's pkg_resources's "require()" function to make modules importable, so we can't just skip zope.interface.

test_dirnode: add an explainError call

manifest: add storage-index strings to the json results

manifest: include stats in results. webapi is unchanged.

misc/spacetime/diskwatcher.tac: remove dead code

mutable: respect the new tahoe.cfg 'shares.needed' and 'shares.total' settings

oops, update tests to match 'tahoe stats' change

cli: tahoe stats: abbreviate total sizes too

cli: 'tahoe stats': add abbreviated size to the histogram. Not sure this actually improves things.

util/abbreviate: little utility to abbreviate seconds and bytes

cli: add 'tahoe check' and 'tahoe deep-check' commands, with primitive reporting code

cli: factor out slow-http-operation to a separate module

cli: tahoe stats/manifest: change --verbose to --raw, since I want -v for --verify for check/deep-check/repair

test_system: make 'where' strings more helpful, to track down test failures better

webapi: add 'summary' string to checker results JSON

munin/tahoe_disktotal: add a 'disk used' line, since it will always be less than disktotal

munin/tahoe_introstats: add line for distinct-storage-hosts (which counts machines instead of nodes)

webapi: introducer stats: add 'announcement_distinct_hosts' to the t=json form, to show how many distinct hosts are providing e.g. storage services

'tahoe create-key-generator': fix help text

#330: convert stats-gatherer into a .tac file service, add 'tahoe create-stats-gatherer'

munin/tahoe_diskused: new plugin to show total disk space used across the grid

munin/tahoe_disktotal: new plugin to show total disk space (used and unused) in the grid

tahoe.cfg: add controls for k and N (and shares-of-happiness)

cli: add tests for 'tahoe stats --verbose'

cli: add --verbose to 'tahoe manifest', to show the raw JSON data

diskwatcher: record total-space (the size of the disk as reported by df) in the db, report it to HTTP clients. This will involve a 50-item-per-second upgrade process when it is first used on old data

dirnode manifest/stats: process more than one LIT file per tree; we were accidentally ignoring all but the first

limiter.py: fix stack blowout by inserting an eventual-send between _done and maybe_start_task. This was causing failures during a 'tahoe manifest' of a large set of directories

New credit file entry

test_cli.py: Ensure that we can read our uploaded files back

test_cli.py: use str objects instead of unicode ones

This will hopefully fix failing tests with LC_ALL=C

CLI: add 'tahoe stats', to run start-deep-stats and print the results

test_system.py: fix new 'tahoe manifest' tests to not break on windows, by providing --node-directory instead of --node-url

test for bug #534, unicode filenames

This test assure that uploading a file whose name contains unicode character
doesn't prevent further uploads in the same directory.

Fix an filename encoding issue with "tahoe cp"

web/info.py: use 128-bit ophandles instead of 64-bit

CLI: add 'tahoe manifest', which takes a directory and returns a list of things you can reach from it

create_node.py: also remove now-unused import of pkg_resources

tahoe.cfg: add tub.location, to override the location hints we include in our FURL. This replaces advertised_ip_addresses, which doesn't remain useful enough to retain it. Helps with #517 (Tor).

setup: remove pkg_resources.require() from create_node.py and add it to runner.py
Brian correctly points out that the latter is an entry point.

docs: fix cutnpasto in source:docs/logging.txt

tests: fix comment

tests: add tahoe_cp to the list of scripts that we don't actually have tests for yet

setup: the .tac files created by create_node.py call pkg_resources.require() so that they can load tahoe and twisted packages which were installed with setuptools multi-version mode
Also the create_node.py script itself uses pkg_resources.require() for the same reason.

web/info: don't let an unrecoverable file break the page (show ? instead of a size)

checker: add is_recoverable() to checker results, make our stub immutable-verifier not throw an exception on unrecoverable files, add tests

monitor: update interface definition: get_status() can return a Failure

web/operations.py: if the operation failed, render the Failure

undoing test change for native_client.php

NEWS: more minor edits

NEWS: minor edits

NEWS: mention SFTP server

client.py: oops, update FTP/SFTP config names to match current docs

remove duplicate+old docs/NEWS. The top-level NEWS file is the canonical one.

SFTP/FTP: merge user/account code, merge docs

docs: move webapi/ftp/sftp into a new frontends/ directory

ftp/sftp: move to a new frontends/ directory in preparation for factoring out password-auth component

sftpd: minor debug-logging tweak

confwiz.py - trying out a new configuration site

ftpd: include an (unused) avatar logout callback

#531: implement an SFTP frontend. Mostly works, still lots of debug messages. Still needs tests and auth-by-pubkey in accounts.file

docs/ftp.txt: correct Twisted dependency: we don't need VFS, we can use a release, as long as you apply the patch