stats: fix service issues

having moved inititalisation into startService to handle tub init cleanly,
I neglected the up-call to startService, which wound up not starting the
load_monitor.

also I changed the 'running' attribute to 'started' since 'running' is
the name used internally by MultiService itself.

munin stats: don't suppress series with no current data

having changed tahoe-stats to not report data series if there was no recent
data recorded for a node, I wound up making it hide the data series.  this
change causes it to report all data series for which stats exist in the
'config' phase, so that they show up, but only report actual data if the
stats are recent, so that they show up as missing if the node is not
reporting stats currently

tahoe_fuse: system test: Verify file contents can be properly read.

tahoe_fuse: system test: Populate a testdir with files and empty children directories, then test the fuse interface for proper listings and size metadata.

tahoe_fuse: system test: Create a separate directory for each test and pass the cap and local path to each test.  Add two basic sanity tests for empty directories.

tahoe_fuse: system test: Replace repeated attempts at webapi calls with single calls, abstract webapi calls into a single function.

tahoe_fuse: system test: Remove some needless comments.

tahoe_fuse: system test: Move test summary to end of output.

tahoe_fuse: system tests: Update comments.

tahoe_fuse: system test: Make output checking into non-fatal warnings, and make patterns looser.

docs: webapi: Add concise shorthand for options, input, output, and statuses to the operation descriptions...

I'm not convinced if this is the best way to do this, but I find it
handy to have a conscise "quick reference" for the webapi operations
which summarize all related I/O.

Another possibility is to reject this patch, but create a separate
"webapi_quickref.html" with a concise table.

tahoe_fuse.py: system test: Distinguish between TestFailures and unexpected exceptions during testing (and fix a typo).

tahoe_fuse.py: system test: setup: lexically sort test names, create a TestFailure class, implement an empty directory listing test.

tahoe_fuse.py: system test: setup: fixed a bug in which the mointpoint was not created before mounting.

tahoe_fuse.py: system test: Many changes to framework...

The flow control has been de-obfuscated a bit.

Some output changes.

The test framework has quite a few race conditions, but it does a reasonable job of setting up and cleaning up.

Individual tests run after all the setup layers are in place.

client.py: hush pyflakes

client.py: touch BASEDIR/no_storage to not publish a storage server. Addresses #271

introducer: allow nodes to refrain from publishing themselves, by passing furl=None. This would be useful for clients who do not run storage servers.

docs: architecture.txt: some edits with Amber

rename storage_index_chk_hash() to storage_index_hash() and add TODO about how our use of it now includes keys that are not CHKs

docs: update docs/about.html with Amber

stats: added IStatsProducer interface, fixed stats provider startup

this adds an interface, IStatsProducer, defining the get_stats() method
which the stats provider calls upon and registered producer, and made the
register_producer() method check that interface is implemented.

also refine the startup logic, so that the stats provider doesn't try and
connect out to the stats gatherer until after the node declares the tub
'ready'.  this is to address an issue whereby providers would attach to
the gatherer without providing a valid furl, and hence the gatherer would
be unable to determine the tubid of the connected client, leading to lost
samples.

munin stats: suppress output of data more that 5min old

if a node fails to report stats, the natural thing to do in re munin is to
supress the data for that data series.  the previous tahoe-stats would output
whatever data was present in the stats_gatherer's stats.pickle, regardless of
how old.

this change means that if the gatherer hasn't received data within the last
5 min, then no data is reported to munin for that node.

munin stats: change truncated nodeid to 4 char (not 8)

stats_gatherer: reject "<unauth>" as a tubid, to avoid screwing up the data.

Makefile: add 'upload-tarballs' target, using a foolscap-based file-transfer tool

storage: clean up use of si_s vs si_dir, add test for BadWriterEnabler message, add some logging

remove unused import (thanks, pyflakes)

storage: make two levels of share directories so as not to exceed certain filesystems's limitations on directory size
The filesystem which gets my vote for most undeservedly popular is ext3, and it has a hard limit of 32,000 entries in a directory.  Many other filesystems (even ones that I like more than I like ext3) have either hard limits or bad performance consequences or weird edge cases when you get too many entries in a single directory.

This patch makes it so that there is a layer of intermediate directories between the "shares" directory and the actual storage-index directory (the one whose name contains the entire storage index (z-base-32 encoded) and which contains one or more share files named by their share number).

The intermediate directories are named by the first 14 bits of the storage index, which means there are at most 16384 of them.  (This also means that the intermediate directory names are not a leading prefix of the storage-index directory names -- to do that would have required us to have intermediate directories limited to either 1024 (2-char), which is too few, or 32768 (3-chars of a full 5 bits each), which would overrun ext3's funny hard limit of 32,000.))

This closes #150, and please see the "convertshares.py" script attached to #150 to convert your old tahoe-0.7.0 storage/shares directory into a new tahoe-0.8.0 storage/shares directory.

tarballs: stick with setup.py's sdist command, which gives us bz2/gz/zip but not rz/7z/lrz. Closes #298.

offloaded.py: fix logging a bit

add 'tarballs' target, to generate compressed source tarballs

stats: add a simple stats gathering system

We have a desire to collect runtime statistics from multiple nodes primarily
for server monitoring purposes.   This implements a simple implementation of
such a system, as a skeleton to build more sophistication upon.

Each client now looks for a 'stats_gatherer.furl' config file.  If it has
been configured to use a stats gatherer, then it instantiates internally
a StatsProvider.  This is a central place for code which wishes to offer
stats up for monitoring to report them to, either by calling
stats_provider.count('stat.name', value) to increment a counter, or by
registering a class as a stats producer with sp.register_producer(obj).

The StatsProvider connects to the StatsGatherer server and provides its
provider upon startup.  The StatsGatherer is then responsible for polling
the attached providers periodically to retrieve the data provided.
The provider queries each registered producer when the gatherer queries
the provider.  Both the internal 'counters' and the queried 'stats' are
then reported to the gatherer.

This provides a simple gatherer app, (c.f. make stats-gatherer-run)
which prints its furl and listens for incoming connections.  Once a
minute, the gatherer polls all connected providers, and writes the
retrieved data into a pickle file.

Also included is a munin plugin which knows how to read the gatherer's
stats.pickle and output data munin can interpret.  this plugin,
tahoe-stats.py can be symlinked as multiple different names within
munin's 'plugins' directory, and inspects argv to determine which
data to display, doing a lookup in a table within that file.
It looks in the environment for 'statsfile' to determine the path to
the gatherer's stats.pickle.  An example plugins-conf.d file is
provided.

upload: oops, fix breakage after removing upload_file/upload_data/etc

remove upload.upload_(data,filename,filehandle) convenience functions

upload: Data should use convergence by default

upload-helper: avoid duplicate uploads: check the grid to see if the file already exists

log.py: update log.err() to take advantage of current foolscap's log.err

install-details.html: debian 3.1 is better known as 'sarge'

confwiz: update to record install and uninstall events.

make content-hash-key encryption a parameter of uploading
fixes #293

docs: add note that Debian 3.1 seems to have the same problem as Ubuntu Dapper with regard to Nevow and Twisted version compatibility

tests: add a test that nevow can find its default css file

Makefile: touch .built on every build, so other targets can depend upon .built and avoid redundant rebuilds

speedcheck: track SSK creation time separately

docs/dirnodes.txt: rewrite to reflect 0.7.0's RSA-based SDMF dirnodes

webish: remove 'URI-link' from directory page, now that we only use URI-links

webish: link to directory URIs rather than a child path. Addresses #103.

upload: add log message when AssistedUploader is done

_auto_deps.py: update comment

_auto_deps: tolerate DistributionNotFound (but not VersionConflict), to accomodate distributions (i.e. gutsy) which provide our dependencies but don't include .egg-info files

upload: fix 'skipping_ahead' log message

offloaded: when uploading a file that failed to upload before, ask for the last byte of ciphertext, so the reader is prepared to give us the plaintext hashes

WriteBucketProxy: improve __repr__

upload.py: the 'skipping encryption' message was emitted exactly backwards

confwiz: revise layout

fix the make-confwiz-match-installer-size changes, to eliminate some weird
layout/rendering bugs.  also tweaked the layout slightly to add space between
the warning label and the newsletter subscribe checkbox.

tweak config wizard window size

adjust the confiwiz frames to display at a size comparable to the innosetup
installer window

webish: upload+localdir=missing should give an error

webish: oops, unit tests don't have an Uploader, don't rely upon it for helper-status display

display the Helper FURL and our connection status on the welcome page. Closes #285.

CHK upload helper: don't let one failed upload prevent us from trying again

macapp.py: cosmetic, remove trailing whitespace

encode.py: update logging levels

encode.py: don't allow a shareholder which dies in start() to kill the whole upload

encode.py: don't record BAD log event unless there is actually a problem

confwiz: use get_config call to backend

this will write an arbitrary number of config files, instead of being restricted
to just the introducer.furl, based on the response of the php backend.
the get_config is passed username/password

docs: edit "grid of storage servers" section with Amber

docs: edit architecture.txt with Amber's help

Makefile: split mac 'make .dmg' and 'upload' into separate steps

offloaded upload: avoid tail-recursion problem that would break large files

encode.py: improve error message when segment lengths come out wrong

offloaded uploader: don't use a huge amount of memory when skipping over previously-uploaded data

better mac .app icon

Reworked mac gui to not lock up upon launch

Previously, once the node itself was launched, the UI event loop was no longer
running.  This meant that the app would sit around seemingly 'wedged' and being
reported as 'Not Responding' by the os.

This chnages that by actually implementing a wxPython gui which is left running
while the reactor, and the node within it, is launched in another thread.
Beyond 'quit' -> reactor.stop, there are no interactions between the threads.

The ui provides 'open web root' and 'open account page' actions, both in the
file menu, and in the (right click) dock icon menu.

Something weird in the handling of wxpython's per-frame menubar stuff seems to
mean that the menu bar only displays the file menu and about etc (i.e. the items
from the wx menubar) if the focus changes from and back to the app while the
frame the menubar belongs to is displayed.  Hence a splash frame comes up at
startup to provide an opportunity.

It also seems that, in the case that the file menu is not available, that one
can induce it to reappear by choosing 'about' from the dock menu, and then
closing the about window.

cleanup mac and windows build code

this moves some of the code common to both windows and mac builds into the
allmydata module hierarchy, and cleans up the windows and mac build directories
to import the code from there.

tahoe_fuse: cmdline args & system test: Allow nonstandard client basedirs to be specified and update the system tests to use this feature...

The commandline option handling of the version of python-fuse I use is arcane.  This is an ugly hack.

tahoe_fuse: rename decorators for clarity.

Small log output change.

tahoe_fuse: system test: webapi connection: bug fix and small log output change.

tahoe_fuse: system test: Add FIXME comments.

tahoe_fuse: system test: Manage multiple clients for test grid...  System test setup is almost complete.

This is a little convoluted because of the "layer" design, but it appears
to function correctly and do properly ordered cleanup.

Before system test setup is complete, tahoe_fuse.py needs to be modified
to allow arbitrary client base directories.

tahoe_fuse: system test: Attempt to create a dirnode to place in <basedir>/private/root_dir.cap, but this fails because the network is too small...

This patch also factors out the "polling_operation" pattern.

tahoe_fuse: system test: Launch the fuse interface.

tahoe_fuse: system test: factor out some cleanup code.

tahoe_fuse: system test: Copy the introducer.furl with a possible race condition due to timeout.

A start at adding a system test for tahoe_fuse.  Incomplete...

Remove a redundant assertion for clarity.

Change stdout to rudimentary file-based logging.

Rename the unittest script for tahoe-fuse.

further fixes to windows build (pkg_resources / web templates)

now that web templates are found via pkg_resources, then the windows build
should in fact _use_ pkg_resources, rather than exclude it from the build
to prevent nevow exploding upon import due to the zip provider exception,
so that the pkgreshook can do install location based lookups

fix windows build's packaging of web templates

the recent changes to webish's template lookup (to use nevow.util hence
pkg_resources) to support the mac build, needs these changes to the windows
build in match the new lookup path

eliminate startup spam for resources that can't be found

remove debug messages (and traceback) from node output in the case that the
pkg resources hook can't find a requested file. it will now silently return
the empty string for files that can't be resolved

fix tahoe script installation logic

refine the logic in the .app which tries to install the 'tahoe' script.

now it will do nothing if 'tahoe' is found anywhere on the user's path,
and only if it's not present will it try to install it in each of the
candidate paths (/usr/local/bin ~/bin ~/Library/bin) which are on the
user's path

encode.py: log the contents of the uri_extension block

test_upload.py: implement remote_abort on our fake BucketWriter

fix windows build

having changed the web template retrieval to use nevow.util.resource_filename
(and hence through pkg_resources when available) that adds a requirement that
py2exe be given a hint to induce it to include the allmydata.web module so that
it becomes importable.

mac build: fixed permission problem on upload .dmg

setup: put back "chmod +x bin/tahoe" in the build target

_auto_deps.py: relax our simplejson dependency to 1.4, since I think it works and because that's what feisty offers