webish: complete rewrite, break into smaller pieces, auto-create directories, improve error handling

test_web: implement API changes from the recent webapi.txt overhaul

webapi.txt: overhaul documentation. API changes are as follows:

 * download/upload localdir=/localfile= has been removed. This sort of ambient
   authority was unsafe to expose over the web (CSRF), and at some point
   soon we'll have 'cp -r' in the CLI to replace it.
 * GET save=filename -> GET filename=filename&save=true
 * GET t=download removed
 * side-effect causing operations now use POST where appropriate, not PUT
 * to create multiple directories, either use
   * POST /uri/DIRCAP/parent?t=mkdir&name=child  (more form/browser oriented)
   * POST /uri/DIRCAP/parent/child?t=mkdir (more machine oriented)
   The t=mkdir-p form is still accepted, but not preferred (since it leaks
   the child name queryarg into the logs)
 * use PUT /uri/MUTABLEFILECAP or PUT /uri/DIRCAP/child (on a mutable file) to
   replace its contents, or POST /same?t=upload from forms
 * response bodies and codes are better specified than before

test_web.py: minor cleanups, improved error reporting

test_web.py: localdir=/localfile= is going away, so remove the tests that exercise it

debug dump-share: print size of encprivkey and signature too

servermap.py: add size_of_version(), to retrieve the size of a mutable file version

native client - Mike updated build to allow for AllmydataTray to stop/start the Manager process

windows installer - fix quoting on start/stop of Allmydata Manager and update version #

windows installer - added startup line for AllmydataManager, removal of the service at uninstall

windows installer - trying to get the new Allmydata Manager service to start automatically

windows installer - changed to update for Mikes recent changes to add AllmydataManager which uses a named pipe to avoid some permissions issues on Vista and fixes some netowkr problems

native client - Mikes changes to have a manager to start/stop services with a named pipe, limit the size of the logfile to 5mb, install the loopback adapter, still need to make changes to the installer to automatically start them up

dirnode: add overwrite= to most API calls, defaulting to True. When False, this raises ExistingChildError rather than overwriting an existing child

testutil.shouldFail: mention the 'which' string in substring failures too

webish: add /file links, change directory page to use them. This fixes filenames in wget. Closes #221.

introweb.py: tolerate foolscap>=0.2.6, which changed the internals of .locationHints

test_mutable.py: test replacing a file that has one new outlier share present: closes #272

CLI.txt: document proposed scp:-based CLI syntax

docs/CLI.txt: provide an overview of bin/tahoe subcommands

use a weakref cache in the client to manage singleton filenodes/dirnodes, to avoid autocollision. Should close #391.

check_memory: oops, fix HTTP-based modes: trailing slash in node.url vs no slash

test_dirnode: improve coverage of not-mutable-error a bit

check_memory: don't use fixed webports, they cause occasional test failures

deep-stats: add file-size histogram

test_dirnode: the size of the directories varies, tolerate it as low as 500 bytes

dirnode: refactor deep-stats a bit

dirnode: add a deep_stats(), like deep-size but with more information. webish adds t=deeps-size too.

run a stats provider even if there's no gatherer, since the HTTP /statistics page is then useful. Only run the once-per-second load-monitor if there is a gatherer configured

dirnode: use the concurrency limiter in t=manifest and t=deep-size, allow 10 retrievals in parallel

limiter: fix bug that ignores the limit= argument

tahoefuse: fix typo which could cause data corruption

a typo in the 'flags2mode' code would wind up passing the O_APPEND
flag into the os open() call, which would cause the file to be opened
in 'strict append' mode, i.e. all writes extend the file, regardless of
calls to seek.

this causes a problem for tahoefuse in that the seek() calls made to
filehandles open through fuse would be ignored when write()s occurred.
this was evidenced by corruption seen when using rsync.  it turns out
that rsync actually makes overlapping writes in some cases, i.e. even
when writing a new fresh file out, it still doesn't write a simple
contiguous span of data, but will make writes overlapping data already
written. this is probably related to the way it manages data blocks
internally for rolling checksums etc.  at any rate, this bug would
thus cause rsync in those cases to write a chunk of duplicate data
into the file - leading to tahoe securely and reliably storing the
wrong data.

fixing this, so that non-append file opens do not pass O_APPEND seems
to eliminate this problem.

tahoefuse: return bogus but useful data to statfs call

previously tahoefuse returned the fs stat for the filesystem the fuse plugin
was running upon (e.g. '/').  this works ok until you need to copy more to
tahoe than the local machine has free disk space, at which point Finder will
refuse to copy 'too much' data.

this changes it so that tahoe always reports 2TiB used of an 8TiB filesystem
this is entirely bogus, but allows copies of up to 2TiB to be initiated.

test_util: improve ConcurrencyLimiter tests

add a basic concurrency limiter utility

boringfile: add Twisted .egg files

web status: abbreviate file size in the upload+download summary page

munin: add tahoe_cpu_watcher.py, to track the data from misc/cpu-watcher.tac

misc/cpu-watcher*: add some tools to monitor CPU usage of arbitrary processes, like tahoe nodes

docs: fix a few stale comments in code

setup: tiny fix to syntax in makefile

configuration.txt: describe helper config

docs: shorter running.html

docs/helper.txt: explain more about the helper

docs: mention configuration, suggested by ben hyde's question about storage servers

docs: edit to install.html suggested by Brian

setup: trivial formatting change in _auto_deps.py

setup: remove specific checks for twisted dependency in makefile
Now that the twisted dependency is handled by the automatic dependency mechanism.

setup: require pycryptopp >= v0.5

setup: remove bundled pycryptopp-0.3.0.tar

setup: bundle pycryptopp-0.5.1.tar
pycryptopp-0.3.0 incorrectly crypts AES (depending on compiler and version of Crypto++ used)
Very soon now we're going to set up an "ext" repository to hold all tarballs and no longer check them into our trunk source tree.

test_stats.py: improve test coverage

stats: add tests for CPUUsageMonitor, modify it a bit to facilitate testing

setup: don't catch ImportError when importing _auto_deps in allmydata/__init__.py
Nowadays pkg_resources is a runtime requirement, and if there is something screwed up in the installation, we want an explicit ImportError exception as early as possible.

test_mutable: update notify_publish() to match new signature

mutable stats: track mutable bytes published too

stats: add CPU-percentage monitor, with 1min/5min/15min moving-window averages, using time.clock()

docs: remove the redundant (and therefore bit-rotting) parts of mutable-DSA.txt and instead refer to mutable.txt

wui: reorganize the welcome.xhtml page
Jake Edge tried Tahoe out and didn't notice the /status page.  Hopefully with this new organization people like he will see that link more easily.  This also addresses drewp's suggestion that the controls appear above the list of servers instead of below.  (I think that was his suggestion.)  I also reordered the controls.

offloaded: add 'resumes' counter to stats: how many upload requests are resuming an interrupted upload?

contrib: add a note about Armin Rigo's fuse implementation

support freebsd 6

debian: add python-setuptools to the debian install-time dependencies. Should close #382.

Makefile: add quicktest-figleaf: this is in my edit-test-repeat loop, and I need it to be fast

munin/tahoe_estimate_files.py: tool to estimate the total number of slots (mutable and immutable combined) in the grid, from a small sample

setup: pyOpenSSL is now easy_installable, and pycryptopp now includes Crypto++, so we can remove those two from the Manual Dependencies

munin stats: fix typo in mutable file stats

munin stats: add mutable/uploader traffic graphs

this adds munin graphs to present data already published by nodes to
the stats_gatherer, namely mutable files published/retrieved, and
immutable files uploaded, and the bytes thereof

introducer: only record one announcement per (tubid,service) tuple. Fixes #343.

client: don't start the IntroducerClient until the Tub is ready, otherwise we will sometimes connect to the introducer (or other clients) before we've done Tub.setLocation, which loses some information on the introducer status page

munin/tahoe-stats.py: category is 'counters' not 'stats', use DERIVE

test_mutable: test that all servers refusing our share means a publish fails

mutable: improve test coverage in Retrieve, when shares change after mapupdate

hush pyflakes warning about code that got moved in the recent StallMixin refactoring

mutable/servermap: improve test coverage

testutil: factor stall() out into a common location

test_introducer.py: don't log nodeids as binary goop

web/status: remove trailing whitespace

mutable: test write failures, uncoordinated write detection

mutable: remove some dead code, rearrange use of populate_pubkey

mutable: improve testing to exercise the non-cached case

check_speed: rearrange a bit to make it easy to disable certain portions

mutable status: make the 'total' timing value optional: unit tests fail otherwise

mutable read: enable the cache (written during mapupdate, read during retrieve). This speeds up small-file reads by about 30% over a link with an average 25ms RTT

mutable status: use google-chart-API to draw server response times for servermap update

mutable: improve test coverage slightly

download status: add time spent paused by the client (when we're serving over a slow HTTP link)

setup: test depends on build, which means it invokes setup.py every time, which is slower but does "the right thing" more often
There is a new target "quicktest" which depends on the .built and .checked-deps files.  test-figleaf also depends on the build target now.

setup: remove the misc/hatch-eggs.py script, which we no longer use since [1937]

windows installer - removing uninstall tests, trying to get to a clean build that works as it's not clear that this latest build can update the virtual drive properly

windows installer - added -Q option to installer as well as to uninstaller, added back the SMB service stop

windows installer - added line to quit the system tray executable which automatically stops the SMB service, removed lnow redundant line to stop SMB service

key_generator: make default key size be a constructor argument instead of a class variable, pass default key size of 522 (the smallest that we can do) in unit tests to make them faster

setup: remove obsolete makefile target build-deps

setup: windows: make sub-ver.py treat None as 0

mutable/servermap: improve test coverage

mutable: improve test coverage, fix bug in privkey fetching, add .finished to stats, remove dead code

setup: remove the try: except: around the import of pkg_resources -- we now require setuptools at run time and at build time

mutable.node: avoid reentrancy problems in Deferred code on twisted2.5, by adding an eventual-send call

setup: don't try __import__(name) in _auto_deps.py
This happens to work, because all of our "distribution" (i.e. distributable packaged Python code) names to coincide with all of their "package" (i.e. a directory with a __init__.py in it, which is "import"-able) names, except, I think for Twisted on Brian's debian sid system.

But there's no reason why it should always work, and the only reason for that __import__() was to give us an explicit error message indicating missing requirements in the case that pkg_resources isn't importable or that the requirements don't have correct .egg-info metadata.  So, by removing this stanza we may allow certain places to get a more ad-hoc failure message, i.e. an ImportError from somewhere, instead of an ImportError from _auto_deps.py, but that's okay.

Note that dependencies which do not have their .egg-info metadata with them are increasingly rare, since Python 2.5 distutils creates the .egg-info file by default, and Linux distributions have stopped their former practice of actively deleting the .egg-info files.