helper stats: fix the /helper_status page, the recent conflict merging missed some uses. Added tests, updated the munin plugins to match

remove size constraint on ShareData: large directories caused errors which triggered massive memory usage. See #379 for details

mutable.py: catch errors during publish.. previously they were ignored. oops.

copy pyutil.time_format into src/allmydata/util
time_format() provides a good format for logging timestamps

doc: slightly clarify an error message

setup: mark Tahoe in the Trove classifiers as Production/Stable instead of Beta

setup: fix spacing in error output messages from makefile
Looking over Brian's shoulder the other day, I saw a message that said "Please seedocs/install.html".
Looking at the source code of the Makefile, it seems like it should say

       @echo "ERROR: Not all of Tahoe's dependencies are in place.  Please see \
docs/install.html for help on installing dependencies."

instead of its current:

       @echo "ERROR: Not all of Tahoe's dependencies are in place.  Please see\
docs/install.html for help on installing dependencies."

But, I remember changing this more than once in the past, so either there is a different version of make somewhere which interprets trailing backslashes differently, or someone (possibly me) has repeatedly gotten confused about this issue.  Anyway, this time around, I'm trying:

       @echo "ERROR: Not all of Tahoe's dependencies are in place.  Please see docs/install.html for help on installing dependencies."

Even though it is > 80 chars.

native client - changing sector size to allow for larger uploads on Vista, XP doesn't seem to pay attention to those parameters on the virtual drive

native client - upgrading to 0.6 WinFUSE, need to add new files and remove old ones

native client - upgrade to WinFUSE 0.6, attempting to solve the issue where the Windows client thinks there isn't enough room on the virtual drive to do a copy

stats_gatherer: fix typo in helper stats gathering.

stats_gatherer: reconcile helper stats gathering

I'd implemented stats gathering hooks in the helper a while back.
Brian did the same without reference to my changes.  This reconciles
those two changes, encompassing all the stats in both changes,
implemented through the stats_provider interface.

this also provide templates for all 10 helper graphs in the
tahoe-stats munin plugin.

conflict reconciliation (part 1, stats gathering in helper)

munin: added a series of munin graphs to report upload helper state

stats: added stats reporting to the upload helper

adds a stats_producer for the upload helper, which provides a series of counters
to the stats gatherer, under the name 'chk_upload_helper'.

it examines both the 'incoming' directory, and the 'encoding' dir, providing
inc_count inc_size inc_size_old enc_count enc_size enc_size_old, respectively
the number of files in each dir, the total size thereof, and the aggregate
size of all files older than 48hrs

minor patch, to trigger the buildbot

back our runtime setuptools dependency down to 0.6a9 . We need a newer version to build, but can handle an older version to simply run a pre-built package

debian: use our own /usr/bin/tahoe, remove runtime dependency on setuptools (since it required egg-aware versions of all dependencies too)

debian: we now require setuptools at build time, and that or pkg_resources at runtime

debian: use setuptools-generated support/bin/tahoe instead of bin/tahoe, to match Zooko's change that makes our in-tree bin/tahoe spawn support/bin/tahoe

key_generator: fix edge case found on windows

the windows (cygwin) buildslave has been failing the key generator test

it turns out that the time check on whether to refill the pool, and the
reactor, are interacting such that when the maybe_refill_pool call posted
on the reactor fires, the test on whether to fill the pool fails.

this adds a loop in the failure case to retry each 1s until it is time
to refill the pool, thus mitigating this timing accuracy problem on
windows.

stats gathering: fix storage server stats if not tracking consumed

the RIStatsProvider interface requires that counter and stat values be
ChoiceOf(float, int, long)  the recent changes to storage server to not
track 'consumed' led to returning None as the value of a counter.
this causes violations to be experienced by nodes whose stats are being
gathered.

this patch simply omits that stat if 'consumed' is not being tracked.

stats gathering: added counters to upload,download,mutablewatcher

counting number of operations, and for immutable files, bytes transferred

oops, change debian dependency on zfec to 1.1, not 1.1.0

docs: yay!  We can remove Twisted from the list of "Manual Dependencies" that users have to be aware of when installing

setup: we now require setuptools at run-time

setup: execute ../support/bin/tahoe from ./bin/tahoe

stats_gatherer: verbose debug logging

one of the storage servers is throwing foolscap violations about the
return value of get_stats().  this adds a log of the data returned
to the foolscap log event stream at the debug level '12' (between
NOISY(10) and OPERATIONAL(20))  hopefully this will facilitate
finding the cause of this problem.

native client - small bug fix to run the used_quota update on startup as well as on upload

native client - adding change to allow drive properties to reflect actual usage of the virtual drive

docs: another small edit (don't mention docs/ directory in about.html now that docs/ is prominent on wiki:Docs)

docs: a couple of tiny docs updates

setup: setup_requires twisted, because foolscap <= 0.2.5 imports twisted in its setup.py and because we want trial to be available at build time

make debian dependencies match _auto_deps.py ones, for foolscap and zfec

windows installer - changed display name to Allmydata 3.0 for presentation purposes

native installer - updated installer to have a better formatted string in the install screen and in the Add/Remove Programs screen

key_generator: remove poll timeouts from test

the timeouts on uses of 'poll' were there purely to make sure a test doesn't
poll indefinitely.  however having such timeouts makes tests susceptible
to premature timeouts under high load, or on slow machines. (e.g. cygwin
slaves running in virtual machines on loaded hosts)

purportedly trial by default applies a timeout to tests to prevent them
hanging out indefinitely, so these poll timeouts are redundant and cause
intermittent failures on slow hosts.  hence they're more bother than they're
worth, and should be culled.

key_generator: fix a typo in the .tac generating create-key-generator

verbose is an object attribute, no longer settable via init args

setup: require twisted >= 2.4.0

don't do a du on startup if there is no size limit configured
This also turns off the production of the "space measurement done" log message, if there is no size limit configured.

native client - added icon to About screen, added ability to change backup client that is launched, changed capitalization in share namme to Allmydata, changed tool-tip to Allmydata 3.0, updated linking method to automatically link if the next file will take more than 60sec to upload or it's already been 5 minutes since the last link happened

native client - took out the Palissimo name, corrected file dates

native client - updated flashing icon, removed the word "Beta" from About screen, fixed some wording

key_generator: fix timing, make tests more robust

previously there was an edge case in the timing of expected behaviour
of the key_generator (w.r.t. the refresh delay and twisted/foolscap
delivery).  if it took >6s for a key to be generated, then it was
possible for the pool refresh delay to transpire _during_ the
synchronous creation of a key in remote_get_rsa_key_pair.  this could
lead to the timer elapsing during key creation and hence the pool
being refilled before control returned to the client.

this change ensures that the time window from a get key request
until the key gen reactor blocks to refill the pool is the time
since a request was answered, not since a request was asked.
this causes the behaviour to match expectations, as embodied in
test_keygen, even if the delay window is dropped to 0.1s

key_generator: up timeouts on keygen test

in both these cases, the timeout only serves to abort a stuck test, and
the key_generator should respond more quickly, but seeing test failures
in buildbot on some platforms suggests that the test is too susceptible
to timing issues on loaded buildslaves.

update our misc/dependencies to have foolscap-0.2.5

auto_deps: require foolscap >= 2.5

the key_generator depends upon tub.setLocationAutomatically() which is only
available in foolscap > 0.2.5

key_generator: service related cleanups, incorporation into system test

this cleans up KeyGenerator to be a service (a subservice of the
KeyGeneratorService as instantiated by the key-generator.tac app)
this means that the timer which replenishes the keypool will be
shutdown cleanly when the service is stopped.

adds checks on the key_generator service and client into the system
test 'test_mutable' such that one of the nodes (clients[3]) uses
the key_generator service, and checks that mutable file creation
in that node, via a variety of means, are all consuming keys from
the key_generator.

key_generator: added a unit test

implemented a unit test of basic KeyGenService functionality,
fixed a bug in the timing of pool refreshes

native client - MikeB's updates to do delayed caching (introduces write delays if cache gets big), status indicator if uploading files on Windows (flashing system tray icon)

trial_figleaf.py: make our figleaf code compatible with both Twisted-8.x and Twisted-2.5.x

added offloaded key generation

this adds a new service to pre-generate RSA key pairs.  This allows
the expensive (i.e. slow) key generation to be placed into a process
outside the node, so that the node's reactor will not block when it
needs a key pair, but instead can retrieve them from a pool of already
generated key pairs in the key-generator service.

it adds a tahoe create-key-generator command which initialises an
empty dir with a tahoe-key-generator.tac file which can then be run
via twistd.  it stashes its .pem and portnum for furl stability and
writes the furl of the key gen service to key_generator.furl, also
printing it to stdout.

by placing a key_generator.furl file into the nodes config directory
(e.g. ~/.tahoe) a node will attempt to connect to such a service, and
will use that when creating mutable files (i.e. directories) whenever
possible.  if the keygen service is unavailable, it will perform the
key generation locally instead, as before.

setup: rename GNUmakefile to Makefile
It's evil and wrong to call something a "Makefile" when it contains code that can't be interpreted by POSIX make and requires GNU make.
But everyone else is doing it.  ;-)

introducer.py: accelerate reconnection after being offline. Closes #374.

When we establish any new connection, reset the delays on all the other
Reconnectors. This will trigger a new batch of connection attempts. The idea
is to detect when we (the client) have been offline for a while, and to
connect to all servers when we get back online. By accelerating the timers
inside the Reconnectors, we try to avoid spending a long time in a
partially-connected state (which increases the chances of causing problems
with mutable files, by not updating all the shares that we ought to).

munin plugins: add 'graph_category tahoe'

add munin/tahoe-rootdir-space

munin/tahoe-introstats.py: put this graph in the 'tahoe' category

native client - removed unused file (used to be for elevating privileges) and changed installer to start up the AllmydataTray executable directly

native client - changing way the executables ask for elevated privileges

storage: emit log messages on bucket allocate/read and mutable writev

docs: fix anchor text of hyperlink to tarball

helper: add another munin plugin

helper: add more stats to webapi, at /helper_status

helper: add stats for the gatherer, show some on the webish welcome page

add GET /uri/URI/?t=deep-size, to compute the total size of immutable files reachable from a given directory

native client - updated to auto mount drive at start as well as when the drive is opened

native client - updated to automatically create a Backup directory, temp directory cleanup, automatic mounting and unmounting of the drive when starting and stopping the service, lots of Vista backup error fixes

node.py: make twistd.pid world-readable, so stats-gathering tools (specifically memory-measuring munin plugins) can see it

boodlegrid.tac: update sound samples

web-status: client methods like list_all_uploads() return Upload instances,
not status instances. Fix this. The symptom was that following a link like
'up-123' that referred to an old operation (no longer in memory) while an
upload was active would get an ugly traceback instead of a "no such resource"
message.

misc/boodlegrid.tac: tool to monitor a grid through its flogports

setup: remove bundled setuptools-0.6c7

setup: require setuptools >= v0.6c8

setup: bundle setuptools-0.6c8, we need a bugfix in it

setup: merge in changes to ez_setup.py from the upstream setuptools project

setup: simplify makefile's path manipulation now that we rely on setup.py develop

tahoe-nodememory.py: change category to Tahoe

docs: link to the 1.0.0 tarball in docs/install.html

TAG allmydata-tahoe-1.0.0

docs: update relnotes.txt for Tahoe v1.0!

Copy amd-nodememory munin plugin over to tahoe and point at correct pidfile

native client - updated to fix windows vista backup rproblems, edit word documents directly on the drive, requeue files that failed to upload from the node to the helper

add a munin plugin to display introducer stats

introweb.py: add ?t=json, to provide machine-readable subscriber counts

encode.py: also record the size, along with plaintext_hash and SI

encode: log a plaintext hash and SI for each upload. This will allow the log gatherer to correlate the two, to better measure the benefits of convergence

confwiz: set a convergence domain based on root_dir upon config

when the confwiz configures a node (i.e. typically once on mac, once per
install on windows) in addition to writing the root_dir.cap retrieved from
the native_client backend into a config file, it additionally writes a hash
thereof into the 'convergence' config file.

this causes uploads from this node to use a consistent 'convergence' hashing
value matching any other nodes with the same configured root_dir, i.e. for
the most part other systems installed and configured on the same account.

mutable: revise a couple of error messages

at brian and zooko's suggestion, reword an error message encountered when
multiple writers are racing to make overlapping changes to a directory

upload.py: remove spurious trailing quotes that confuse syntax-highlighting

disable plaintext hashes in shares, but leave a switch to turn it back on

UNDO: upload: stop putting plaintext and ciphertext hashes in shares.
This removes the guess-partial-information attack vector, and reduces
the amount of overhead that we consume with each file. It also introduces
a forwards-compability break: older versions of the code (before the
previous download-time "make hashes optional" patch) will be unable
to read files uploaded by this version, as they will complain about the
missing hashes. This patch is experimental, and is being pushed into
trunk to obtain test coverage. We may undo it before releasing 1.0.

CREDITS: add Paul Gerhardt, who submitted a small patch for make check-deps to be more newbie-friendly

setup: don't echo "signal-error" to stdout when testing for errors
This patch is thanks to Paul Gerhardt.

docs: document the private/convergence configuration file

fix check-memory to use new upload API (which requires a "convergence" argument), and change it to measure convergence instead of random-key, since convergence is the use case we care about more

use added secret to protect convergent encryption

Now upload or encode methods take a required argument named "convergence" which can be either None, indicating no convergent encryption at all, or a string, which is the "added secret" to be mixed in to the content hash key.  If you want traditional convergent encryption behavior, set the added secret to be the empty string.

This patch also renames "content hash key" to "convergent encryption" in a argument names and variable names.  (A different and larger renaming is needed in order to clarify that Tahoe supports immutable files which are not encrypted content-hash-key a.k.a. convergent encryption.)

This patch also changes a few unit tests to use non-convergent encryption, because it doesn't matter for what they are testing and non-convergent encryption is slightly faster.

upload: stop putting plaintext and ciphertext hashes in shares.
This removes the guess-partial-information attack vector, and reduces
the amount of overhead that we consume with each file. It also introduces
a forwards-compability break: older versions of the code (before the
previous download-time "make hashes optional" patch) will be unable
to read files uploaded by this version, as they will complain about the
missing hashes. This patch is experimental, and is being pushed into
trunk to obtain test coverage. We may undo it before releasing 1.0.

download: make plaintext and ciphertext hashes in the UEB optional.
Removing the plaintext hashes can help with the guess-partial-information
attack. This does not affect compatibility, but if and when we actually
remove any hashes from the share, that will introduce a
forwards-compatibility break: tahoe-0.9 will not be able to read such files.

native client - adding support for special icons for shared and recycling directories

docs: add some accounting proposals