test_cli: oops, need to update this when the CHK hash changes

change encryption-key hash to include encoding parameters. This is a minor compatibility break: CHK files encoded (with convergence) before and after this will have different keys and ciphertexts. Also switched to SHA-256d for both the data-to-key hash and the key-to-storageindex hash

hashutil: add tagged_hash_256d and tagged_hasher_256d

upload: rework passing of default encoding parameters: move more responsibility into BaseUploadable

offloaded: oops, need more tricks to make the unit tests pass

helper: return full uri-extension data to the client, so it can compare encoding parameters

interfaces: remove spurious line that counted against the figleaf coverage

test_util: add full coverage for allmydata.util.deferredutil

windows: track uninstalls

the confwiz and the native_client backend both gained hooks to track
uninstall events.  however that somehow didn't make it to the uninstaller :-)

tahoe dump-share: remove --filename option, just take it from argv

test_system: deferred-handling logic in test_upload_and_download was broken

dump-share: tweak formatting a little bit, to make dumping multiple shares in a row easier to read

add 'tahoe find-shares' command, to locate share files on a local node's disk

dump-cap: include UEB_hash in output

download.py: make logging safe in ValidatedBucket

webish: more upload stats: total encode-and-push rate, already-in-grid existence check time

webish: add when_done= to POST /uri?t=upload . I did not add a 'recent uploads' section to the welcome page, but I think the new upload-results page provides the desired data

UploadResults: add more helper timing stats (ciphertext fetch times)

add upload-results timing info for helper uploads. This changes the Helper protocol, and introduces a compatibility break

add upload timings and rates to the POST /uri?t=upload results page

webish: make POST /uri?t=upload deposit you on an 'Upload Results' page

webish.py: refactor /uri handlers, one rend.Page class per operation

test_web.py: hush pyflakes

webish: add PUT /uri?mutable=true

webish: add POST /uri?t=upload&mutable=true

webish: add upload/view-uri forms (not associated with any particular directory) to the welcome page. Document POST /uri?t=upload .

upload: return an UploadResults instance (with .uri) instead of just a URI

webish: add storage-consumed estimate on welcome page

storage: change service name from 'storageserver' to 'storage'

webish: display tahoe import path on the welcome page, to help figure out where the code is coming from

refactor node startup, remove tub_ready()

setup: fix the md5sum of the bundled setuptools egg

docs/testgrid/introducer.furl: update to new introducer

webish: condense display of nickname a little bit

webish: show nickname too

webish: add extra introducer data (version, timestamps) to Welcome page

test_introducer.py: increase timeouts on poll() calls

bundle foolscap-0.2.4 instead of 0.2.3

bump foolscap dependency to 0.2.4, since we now use log.err

docs/configuration.txt: wrap to 80 cols

docs/configuration.txt: document nickname, no_storage, readonly_storage

introducer: remove remaining bits of 'push-to-myself' flags. The uploading/downloading node is no longer special.

introducer: remove PeerCountObserver, tests are managing with purely poll-for-connected approachers

big introducer refactoring: separate publish+subscribe. Addresses #271.

PollMixin: add timeout= argument, rewrite to avoid tail-recursion problems

windows: include latest windown build, winfuse and tray.exe

stats: fix service issues

having moved inititalisation into startService to handle tub init cleanly,
I neglected the up-call to startService, which wound up not starting the
load_monitor.

also I changed the 'running' attribute to 'started' since 'running' is
the name used internally by MultiService itself.

munin stats: don't suppress series with no current data

having changed tahoe-stats to not report data series if there was no recent
data recorded for a node, I wound up making it hide the data series.  this
change causes it to report all data series for which stats exist in the
'config' phase, so that they show up, but only report actual data if the
stats are recent, so that they show up as missing if the node is not
reporting stats currently

tahoe_fuse: system test: Verify file contents can be properly read.

tahoe_fuse: system test: Populate a testdir with files and empty children directories, then test the fuse interface for proper listings and size metadata.

tahoe_fuse: system test: Create a separate directory for each test and pass the cap and local path to each test.  Add two basic sanity tests for empty directories.

tahoe_fuse: system test: Replace repeated attempts at webapi calls with single calls, abstract webapi calls into a single function.

tahoe_fuse: system test: Remove some needless comments.

tahoe_fuse: system test: Move test summary to end of output.

tahoe_fuse: system tests: Update comments.

tahoe_fuse: system test: Make output checking into non-fatal warnings, and make patterns looser.

docs: webapi: Add concise shorthand for options, input, output, and statuses to the operation descriptions...

I'm not convinced if this is the best way to do this, but I find it
handy to have a conscise "quick reference" for the webapi operations
which summarize all related I/O.

Another possibility is to reject this patch, but create a separate
"webapi_quickref.html" with a concise table.

tahoe_fuse.py: system test: Distinguish between TestFailures and unexpected exceptions during testing (and fix a typo).

tahoe_fuse.py: system test: setup: lexically sort test names, create a TestFailure class, implement an empty directory listing test.

tahoe_fuse.py: system test: setup: fixed a bug in which the mointpoint was not created before mounting.

tahoe_fuse.py: system test: Many changes to framework...

The flow control has been de-obfuscated a bit.

Some output changes.

The test framework has quite a few race conditions, but it does a reasonable job of setting up and cleaning up.

Individual tests run after all the setup layers are in place.

client.py: hush pyflakes

client.py: touch BASEDIR/no_storage to not publish a storage server. Addresses #271

introducer: allow nodes to refrain from publishing themselves, by passing furl=None. This would be useful for clients who do not run storage servers.

docs: architecture.txt: some edits with Amber

rename storage_index_chk_hash() to storage_index_hash() and add TODO about how our use of it now includes keys that are not CHKs

docs: update docs/about.html with Amber

stats: added IStatsProducer interface, fixed stats provider startup

this adds an interface, IStatsProducer, defining the get_stats() method
which the stats provider calls upon and registered producer, and made the
register_producer() method check that interface is implemented.

also refine the startup logic, so that the stats provider doesn't try and
connect out to the stats gatherer until after the node declares the tub
'ready'.  this is to address an issue whereby providers would attach to
the gatherer without providing a valid furl, and hence the gatherer would
be unable to determine the tubid of the connected client, leading to lost
samples.

munin stats: suppress output of data more that 5min old

if a node fails to report stats, the natural thing to do in re munin is to
supress the data for that data series.  the previous tahoe-stats would output
whatever data was present in the stats_gatherer's stats.pickle, regardless of
how old.

this change means that if the gatherer hasn't received data within the last
5 min, then no data is reported to munin for that node.

munin stats: change truncated nodeid to 4 char (not 8)

stats_gatherer: reject "<unauth>" as a tubid, to avoid screwing up the data.

Makefile: add 'upload-tarballs' target, using a foolscap-based file-transfer tool

storage: clean up use of si_s vs si_dir, add test for BadWriterEnabler message, add some logging

remove unused import (thanks, pyflakes)

storage: make two levels of share directories so as not to exceed certain filesystems's limitations on directory size
The filesystem which gets my vote for most undeservedly popular is ext3, and it has a hard limit of 32,000 entries in a directory.  Many other filesystems (even ones that I like more than I like ext3) have either hard limits or bad performance consequences or weird edge cases when you get too many entries in a single directory.

This patch makes it so that there is a layer of intermediate directories between the "shares" directory and the actual storage-index directory (the one whose name contains the entire storage index (z-base-32 encoded) and which contains one or more share files named by their share number).

The intermediate directories are named by the first 14 bits of the storage index, which means there are at most 16384 of them.  (This also means that the intermediate directory names are not a leading prefix of the storage-index directory names -- to do that would have required us to have intermediate directories limited to either 1024 (2-char), which is too few, or 32768 (3-chars of a full 5 bits each), which would overrun ext3's funny hard limit of 32,000.))

This closes #150, and please see the "convertshares.py" script attached to #150 to convert your old tahoe-0.7.0 storage/shares directory into a new tahoe-0.8.0 storage/shares directory.

tarballs: stick with setup.py's sdist command, which gives us bz2/gz/zip but not rz/7z/lrz. Closes #298.

offloaded.py: fix logging a bit

add 'tarballs' target, to generate compressed source tarballs

stats: add a simple stats gathering system

We have a desire to collect runtime statistics from multiple nodes primarily
for server monitoring purposes.   This implements a simple implementation of
such a system, as a skeleton to build more sophistication upon.

Each client now looks for a 'stats_gatherer.furl' config file.  If it has
been configured to use a stats gatherer, then it instantiates internally
a StatsProvider.  This is a central place for code which wishes to offer
stats up for monitoring to report them to, either by calling
stats_provider.count('stat.name', value) to increment a counter, or by
registering a class as a stats producer with sp.register_producer(obj).

The StatsProvider connects to the StatsGatherer server and provides its
provider upon startup.  The StatsGatherer is then responsible for polling
the attached providers periodically to retrieve the data provided.
The provider queries each registered producer when the gatherer queries
the provider.  Both the internal 'counters' and the queried 'stats' are
then reported to the gatherer.

This provides a simple gatherer app, (c.f. make stats-gatherer-run)
which prints its furl and listens for incoming connections.  Once a
minute, the gatherer polls all connected providers, and writes the
retrieved data into a pickle file.

Also included is a munin plugin which knows how to read the gatherer's
stats.pickle and output data munin can interpret.  this plugin,
tahoe-stats.py can be symlinked as multiple different names within
munin's 'plugins' directory, and inspects argv to determine which
data to display, doing a lookup in a table within that file.
It looks in the environment for 'statsfile' to determine the path to
the gatherer's stats.pickle.  An example plugins-conf.d file is
provided.

upload: oops, fix breakage after removing upload_file/upload_data/etc

remove upload.upload_(data,filename,filehandle) convenience functions

upload: Data should use convergence by default

upload-helper: avoid duplicate uploads: check the grid to see if the file already exists

log.py: update log.err() to take advantage of current foolscap's log.err

install-details.html: debian 3.1 is better known as 'sarge'

confwiz: update to record install and uninstall events.

make content-hash-key encryption a parameter of uploading
fixes #293

docs: add note that Debian 3.1 seems to have the same problem as Ubuntu Dapper with regard to Nevow and Twisted version compatibility

tests: add a test that nevow can find its default css file

Makefile: touch .built on every build, so other targets can depend upon .built and avoid redundant rebuilds

speedcheck: track SSK creation time separately

docs/dirnodes.txt: rewrite to reflect 0.7.0's RSA-based SDMF dirnodes

webish: remove 'URI-link' from directory page, now that we only use URI-links

webish: link to directory URIs rather than a child path. Addresses #103.

upload: add log message when AssistedUploader is done

_auto_deps.py: update comment

_auto_deps: tolerate DistributionNotFound (but not VersionConflict), to accomodate distributions (i.e. gutsy) which provide our dependencies but don't include .egg-info files

upload: fix 'skipping_ahead' log message

offloaded: when uploading a file that failed to upload before, ask for the last byte of ciphertext, so the reader is prepared to give us the plaintext hashes