mutable/servermap: improve test coverage

testutil: factor stall() out into a common location

test_introducer.py: don't log nodeids as binary goop

web/status: remove trailing whitespace

mutable: test write failures, uncoordinated write detection

mutable: remove some dead code, rearrange use of populate_pubkey

mutable: improve testing to exercise the non-cached case

check_speed: rearrange a bit to make it easy to disable certain portions

mutable status: make the 'total' timing value optional: unit tests fail otherwise

mutable read: enable the cache (written during mapupdate, read during retrieve). This speeds up small-file reads by about 30% over a link with an average 25ms RTT

mutable status: use google-chart-API to draw server response times for servermap update

mutable: improve test coverage slightly

download status: add time spent paused by the client (when we're serving over a slow HTTP link)

setup: test depends on build, which means it invokes setup.py every time, which is slower but does "the right thing" more often
There is a new target "quicktest" which depends on the .built and .checked-deps files.  test-figleaf also depends on the build target now.

setup: remove the misc/hatch-eggs.py script, which we no longer use since [1937]

windows installer - removing uninstall tests, trying to get to a clean build that works as it's not clear that this latest build can update the virtual drive properly

windows installer - added -Q option to installer as well as to uninstaller, added back the SMB service stop

windows installer - added line to quit the system tray executable which automatically stops the SMB service, removed lnow redundant line to stop SMB service

key_generator: make default key size be a constructor argument instead of a class variable, pass default key size of 522 (the smallest that we can do) in unit tests to make them faster

setup: remove obsolete makefile target build-deps

setup: windows: make sub-ver.py treat None as 0

mutable/servermap: improve test coverage

mutable: improve test coverage, fix bug in privkey fetching, add .finished to stats, remove dead code

setup: remove the try: except: around the import of pkg_resources -- we now require setuptools at run time and at build time

mutable.node: avoid reentrancy problems in Deferred code on twisted2.5, by adding an eventual-send call

setup: don't try __import__(name) in _auto_deps.py
This happens to work, because all of our "distribution" (i.e. distributable packaged Python code) names to coincide with all of their "package" (i.e. a directory with a __init__.py in it, which is "import"-able) names, except, I think for Twisted on Brian's debian sid system.

But there's no reason why it should always work, and the only reason for that __import__() was to give us an explicit error message indicating missing requirements in the case that pkg_resources isn't importable or that the requirements don't have correct .egg-info metadata.  So, by removing this stanza we may allow certain places to get a more ad-hoc failure message, i.e. an ImportError from somewhere, instead of an ImportError from _auto_deps.py, but that's okay.

Note that dependencies which do not have their .egg-info metadata with them are increasingly rare, since Python 2.5 distutils creates the .egg-info file by default, and Linux distributions have stopped their former practice of actively deleting the .egg-info files.

setup: trivial change to metadata to test patch/branch/build system

let MutableFileNode.__repr__() return something useful even if it isn't not initialize yet
This is because I sometimes log or examine a repr of an object from a function which is being called from that object's own __init__()...
(I'm committing this patch in order to test our patch management infrastructure.)

docs: tiny update to webapi.txt
I'm actually committing this just to test our patch management infrastructure.

docs: tiny change in webapi.txt
(I'm actually committing this patch only in order to test our patch management infrastructure.)

docs: merge conflicts between the patch to document "127.0.0.1" instead of "localhost" and some other patches (precisely which, I don't know)

docs: use "127.0.0.1" instead of "localhost"
Unfortunately there are occasionally configurations in the real world where "localhost" does not resolve to 127.0.0.1, and if a user has such a configuration then using 'localhost' could lead to an authority leak.

setup: a tiny tweak to setup to avoid requiring darcsver package if the user isn't invoking "./setup.py darcsver"
The real reason for this patch is to test our patch management infrastructure.

dirnode: return to 'delete fails if the child wasn't actually there' semantics, to make tests pass. There's a switch to enable/disable this

test_mutable: hush pyflakes

dirnode: update to use MutableFileNode.modify

testutil: minor reformatting

test_mutable: factor out ShouldFailMixin

mutable: implement MutableFileNode.modify, plus tests

mutable: replace MutableFileNode API, update tests. Changed all callers to use overwrite(), but that will change soon

mutable WIP: merge in patches from current trunk

mutable WIP: use fireOnOneErrback when using a DeferredList

mutable WIP: clean up status handling, shrink the code a lot, improve test coverage

mutable WIP: add servermap update status pages

mutable WIP: oops, fix test_mutable

mutable WIP: publish status doesn't know its size early enough to update the stats_provider

mutable WIP: re-enable publish/retrieve status

misc/sizes.py: update to match current defaults: 128KiB segsize, 3-of-10

mutable WIP: improve logging a bit

mutable WIP: rewrite ServerMap data structure, add tests

mutable WIP: rename NotEnoughPeersError to NotEnoughSharesError

mutable WIP: if corrupt shares cause a retrieve to fail, restart it once, ignoring those shares and using different ones

mutable WIP: merge conflicts in test_system.py

mutable WIP: split mutable.py into separate files. All tests pass.

mutable WIP: all tests pass, but publish/retrieve status is still stubbed out

mutable: WIP. make Publish work, remove some test scaffolding. test_system still fails.

mutable.py: checkpointing #303 work part 2, Publish is sketched out

mutable.py: checkpointing #303 work: retrieve does what I want, now starting in on publish

client: add 'node.uptime' to the stats we collect

native client (windows) - This update fixes Williams issue getting files to show up on the drive after

windows installer - added commands to stop the services if the user is installing over a running instance of Allmydata

native client - updated to correctly choose a drive letter if the previous drive letter has been otherwise taken while the client was not running

download: DownloadStopped isn't SCARY, lower the log severity

test_mutable.py: remove spurious Retrieve during a publish test

web/statistics: fix typo that make immutable-download stats missing

upload.py: add some notes: extensions are more like 419 than 1000 bytes

web: return a proper error upon POST with a bad t= value

misc/boodlegrid.tac: tweak sounds a bit

web: don't break status page when there is no helper running

helper: log SI in ciphertext-read-failed message

helper: add SI to logged progress messages

helper status: include percentage fetched+pushed, add helper-uploads to the upload/download list

webish: fix 'not running helper' status indicator on welcome page, add tests

stats: add /statistics web page to show them, add tests

offloaded: add fetched-percentage to the log message

helper stats: fix the /helper_status page, the recent conflict merging missed some uses. Added tests, updated the munin plugins to match

remove size constraint on ShareData: large directories caused errors which triggered massive memory usage. See #379 for details

mutable.py: catch errors during publish.. previously they were ignored. oops.

copy pyutil.time_format into src/allmydata/util
time_format() provides a good format for logging timestamps

doc: slightly clarify an error message

setup: mark Tahoe in the Trove classifiers as Production/Stable instead of Beta

setup: fix spacing in error output messages from makefile
Looking over Brian's shoulder the other day, I saw a message that said "Please seedocs/install.html".
Looking at the source code of the Makefile, it seems like it should say

       @echo "ERROR: Not all of Tahoe's dependencies are in place.  Please see \
docs/install.html for help on installing dependencies."

instead of its current:

       @echo "ERROR: Not all of Tahoe's dependencies are in place.  Please see\
docs/install.html for help on installing dependencies."

But, I remember changing this more than once in the past, so either there is a different version of make somewhere which interprets trailing backslashes differently, or someone (possibly me) has repeatedly gotten confused about this issue.  Anyway, this time around, I'm trying:

       @echo "ERROR: Not all of Tahoe's dependencies are in place.  Please see docs/install.html for help on installing dependencies."

Even though it is > 80 chars.

native client - changing sector size to allow for larger uploads on Vista, XP doesn't seem to pay attention to those parameters on the virtual drive

native client - upgrading to 0.6 WinFUSE, need to add new files and remove old ones

native client - upgrade to WinFUSE 0.6, attempting to solve the issue where the Windows client thinks there isn't enough room on the virtual drive to do a copy

stats_gatherer: fix typo in helper stats gathering.

stats_gatherer: reconcile helper stats gathering

I'd implemented stats gathering hooks in the helper a while back.
Brian did the same without reference to my changes.  This reconciles
those two changes, encompassing all the stats in both changes,
implemented through the stats_provider interface.

this also provide templates for all 10 helper graphs in the
tahoe-stats munin plugin.

conflict reconciliation (part 1, stats gathering in helper)

munin: added a series of munin graphs to report upload helper state

stats: added stats reporting to the upload helper

adds a stats_producer for the upload helper, which provides a series of counters
to the stats gatherer, under the name 'chk_upload_helper'.

it examines both the 'incoming' directory, and the 'encoding' dir, providing
inc_count inc_size inc_size_old enc_count enc_size enc_size_old, respectively
the number of files in each dir, the total size thereof, and the aggregate
size of all files older than 48hrs

minor patch, to trigger the buildbot

back our runtime setuptools dependency down to 0.6a9 . We need a newer version to build, but can handle an older version to simply run a pre-built package

debian: use our own /usr/bin/tahoe, remove runtime dependency on setuptools (since it required egg-aware versions of all dependencies too)

debian: we now require setuptools at build time, and that or pkg_resources at runtime

debian: use setuptools-generated support/bin/tahoe instead of bin/tahoe, to match Zooko's change that makes our in-tree bin/tahoe spawn support/bin/tahoe

key_generator: fix edge case found on windows

the windows (cygwin) buildslave has been failing the key generator test

it turns out that the time check on whether to refill the pool, and the
reactor, are interacting such that when the maybe_refill_pool call posted
on the reactor fires, the test on whether to fill the pool fails.

this adds a loop in the failure case to retry each 1s until it is time
to refill the pool, thus mitigating this timing accuracy problem on
windows.

stats gathering: fix storage server stats if not tracking consumed

the RIStatsProvider interface requires that counter and stat values be
ChoiceOf(float, int, long)  the recent changes to storage server to not
track 'consumed' led to returning None as the value of a counter.
this causes violations to be experienced by nodes whose stats are being
gathered.

this patch simply omits that stat if 'consumed' is not being tracked.

stats gathering: added counters to upload,download,mutablewatcher

counting number of operations, and for immutable files, bytes transferred

oops, change debian dependency on zfec to 1.1, not 1.1.0

docs: yay!  We can remove Twisted from the list of "Manual Dependencies" that users have to be aware of when installing