use added secret to protect convergent encryption

Now upload or encode methods take a required argument named "convergence" which can be either None, indicating no convergent encryption at all, or a string, which is the "added secret" to be mixed in to the content hash key.  If you want traditional convergent encryption behavior, set the added secret to be the empty string.

This patch also renames "content hash key" to "convergent encryption" in a argument names and variable names.  (A different and larger renaming is needed in order to clarify that Tahoe supports immutable files which are not encrypted content-hash-key a.k.a. convergent encryption.)

This patch also changes a few unit tests to use non-convergent encryption, because it doesn't matter for what they are testing and non-convergent encryption is slightly faster.

upload: stop putting plaintext and ciphertext hashes in shares.
This removes the guess-partial-information attack vector, and reduces
the amount of overhead that we consume with each file. It also introduces
a forwards-compability break: older versions of the code (before the
previous download-time "make hashes optional" patch) will be unable
to read files uploaded by this version, as they will complain about the
missing hashes. This patch is experimental, and is being pushed into
trunk to obtain test coverage. We may undo it before releasing 1.0.

download: make plaintext and ciphertext hashes in the UEB optional.
Removing the plaintext hashes can help with the guess-partial-information
attack. This does not affect compatibility, but if and when we actually
remove any hashes from the share, that will introduce a
forwards-compatibility break: tahoe-0.9 will not be able to read such files.

native client - adding support for special icons for shared and recycling directories

docs: add some accounting proposals

resolve conflict in windows installer conf

confwiz: refine the descriptive text on the conf wiz pages

windows installer: use an allmydata logo in setup wizard

confwiz: reworked confwiz look and feel

this changes the confwiz to have a look and feel much more consistent
with that of the innosetup installer it is launched within the context
of.  this applies, naturally, primarily to windows.

macapp: updated icon for mac build

native client - adding checks for elevating and managing privileges on Vista

webish mkdir-p: added unit test

added a test for the simple mkdir-p hack I added yesterday

checks that mkdir-p can create a directory hierarchy, and that resubmitting
a request for the same path yields the existing dir's uri

windows installer - changed to reflect the new StartAllmydata.exe executable that is used to launch the various pieces of the native client. Also verified that the SMB service was stopped when uninstalling.

native client - added StartAllmydata.exe so that we can start/stop processes in Vista

add a mkdir-p POST handler

this adds a t=mkdir-p call to directories (accessed by their uri as
/uri/<URI>?t=mkdir=p&path=/some/path) which returns the uri for a
directory at a specified path before the given uri, regardless of
whether the directory exists or whether intermediate directories
need to be created to satisfy the request.

this is used by the migration code in MV to optimise the work of
path traversal which was other wise done on every file PUT

native client - fixes for drive size (now 1TB), running service as adminstrator to allow client stopping and starting in Vista, large number of files fix

web/status.py: guard against file_size=None, closes #354

refactor one of the dispatch routines in webish.py
The behavior is intended to be unchanged by this refactoring.  Unit tests show no change in behavior.

docs: link from install.html to the (imminent) location of allmydata-tahoe-0.9.0.tar.gz

TAG allmydata-tahoe-0.9.0

native client - fixed icon for system tray, improved link batching

docs: small edit to relnotes.txt

docs: link to the current CREDITS file from relnotes.txt

docs: fix typo in relnotes.txt

docs: small edit to relnotes.txt

docs: update relnotes.txt for allmydata.org "Tahoe" v0.9.0 !
Whee!

mutable.py: split replace() into update() and overwrite(). Addresses #328.

storage servers announce that they will support clients as old as v0.8.0
Not that anyone pays attention to what storage servers claim about what versions they will support.

CREDITS

introducer: record a timestamp with each announcement, and display it on the introducer's web page

introducer: record a timestamp with each subscriber, and display it on the introducer's web page

introweb: combine announcement and subscriber information to show version+nickname for each client

client: publish a 'stub client' announcement to the introducer, to provide version/nickname information for each client

webish: put a trailing slash in the node.url file, since our unit tests use it, and some versions of twisted or nevow don't automatically add one

introweb.py: tolerate non-setLocationed client tubs

oops, add introducer.xhtml

add a webserver for the Introducer, showing service announcements and subscriber lists

native client - updated executables and dll's to have green icon, preference for log levels, and force a link every 100 files when uploading large amounts of files

makefile - unreverted Zooko's change to setup.py, this originally was to see if it was causing the build to create a non-running installer on windows, but it wasn't the problem.

increase remote-interface size limits to 16EiB by not casually using 'int' as a constraint

mutable: tolerate multiple encodings, using whichever version is recoverable first. Closes #312

test_mutable: improve multiple-encodings test coverage

test_mutable: make test-multiple-encodings work

test_mutable: more test coverage, building up a framework to cause reads to occur in a specific order

native client - updated .exe's and .dll's with better caching, using new multi-child upload call, preferences dialog

makefile: clean up pyutil.egg too

mutable: increase max segsize to 3.5MB, to allow dirnodes with about 10k entries

.darcs-boringfile: add pyutil, since it is in setup_requires now

make the nodeurl start with '127.0.0.1' instead of with 'localhost'
This is because there exist in the wild computers that are misconfigured so that 'localhost' doesn't resolve to 127.0.0.1.  On those computers, using 'localhost' for the nodeurl is a security problem, because the user commonly sends valuable caps to the nodeurl.

setup: use "-rNN" with NN the "revision number" instead of "-NN" with NN the "build number" in the Windows builds

setup_require pyutil >= 1.3.16, as the Windows installer builder's misc/sub-ver.py relies on it

setup: remove old bundled pyutil-1.3.12

setup: remove old bundled darcsver-1.1.1

setup: bundle pyutil-1.3.16.tar

setup: setup_require darcsver >= 1.1.2

setup: bundle darcsver-1.1.2.tar

setup: generate a unique revision number for each build

setup: remove old bundled darcsver-1.0.1.tar

setup: bundle darcsver-1.1.1.tar
I forgot that we're doing uncompressed misc/deps at the moment.  We don't think this is a long-term good approach...

appease some unspecified audience by naming our GNU-extension-using makefile 'GNUmakefile'. Closes #214

test_mutable: exercise short reads too

confwiz: write accountname to a file

motivated simply by a desire to be able to identify 'noderoot' directories for
debugging and testing, the confwiz now writes an 'accountname' files based on
what account was used when the node was configured.  this is not currently read
by or used by any code in the system, but helps identify directories from testing.

test_mutable: test all hash-failure cases except a corrupted encrypted private key

test_mutable: add Roundtrip test, suitable for new share-mangling tests

mutable: cosmetic changes

mutable: minor refactoring of _do_read, to make other tests easier

fix pyflakes warning

architecture.txt: make it clear that accounting/leases are not yet implemented

reverting a change zooko made (2258) to see if it clears up problems in the windows build

lower max_segsize for immutable files to 128KiB, to make download-progress smoother and improve alacrity. Closes #252. Note that mutable files continue to use 1MiB segments.

macapp: new mac icon

this provides a new icon for the .app bundle
also removes the setting of the dock icon from within wx
(which previously used a different icon)

webish: show storage sizelimit, abbreviate current usage

docs: trivial edit

setup: don't install, just "develop" in setup.py in build target

setup: don't echo the echo of EGGSPATH

macfuse: fix unicode handling

at one point I'd thrown in a 'str' since fuse api bits required a str instance
but tahoe returns unicode objects from its json parsing.  that, naturally
enough should really be a utf8 encoded str of the unicode object...

macapp: simplify node startup failure reporting

1. changed the node's exit-on-error behaviour. rather than logging debug and
then delegating to self for _abort_process() instead simply delegate to self
_service_startup_failed(failure) to report failures in the startup deferred
chain. subclasses then have complete control of handling and reporting any
failures in node startup.

2. replace the convoluted wx.PostEvent() glue for posting an event into the
gui thread with the simpler expedient of wx.CallAfter() which is much like
foolscap's eventually() but also thread safe for inducing a call back on the
gui thread.

macapp: report failure of node startup to the user

in certain cases (e.g. the node.pem changed but old .furls are in private/)
the node will abort upon startup. previously it used os.abort() which in these
cases caused the mac gui app to crash on startup with no explanation.

this changes that behaviour from calling os.abort() to calling
node._abort_process(failure) which by default calls os.abort().  this allows
that method to be overridden in subclasses.

the mac app now provides and uses such a subclass of Client, so that failures
are reported to the user in a message dialog before the process exits.
this uses wx.PostEvent() with a custom event type to signal from the reactor
thread into the gui thread.

doc: tiny change about status of mutable.txt

webish: add more share information to upload status, including assisted uploads

webish: add publish status

confwiz: add nickname determination

the confwiz now uses socket.gethostname() if a 'nickname' file doesn't already
exist, and passes that nickname into the 'record_install' method on the backend,
so that the moniker can be recorded in the system table.

docs/mutable: describe deep-verify-cap scheme, update picture

webish: split out 'unlinked' operations

webish: this file is too big, start breaking it into pieces, beginning with status

mutable-retrieve: only record server response times for queries that we don't ignore

mutable: when retrieving, don't try to grab the encprivkey, to save a roundtrip

webish: add more mutable-retrieve timing status

web: status: add 'started' timestamps to all operations

apply dreid's patch from #335 to fix the provisioning page in zipped distributions

mutable: oops, .download *is* in use, by the speedtest. Restore it and add a test.

test_util.py: get 100% test coverage for hashutil.py

uri.py: get 100% test coverage, fix a few bugs in the process

mutable.py: remove unused 'download' method (we only have download_to_data for now)

test_filenode.py : improve coverage of mutable filenode, fix a bug in __hash__

test_system: improve test coverage of publish/retrieve status

webish: add primitive publish/retrieve status pages

stats: make StatsGatherer happy about sharing a process with other services, add one during system test to get some test coverage

test_web: improve upload/download status coverage

test_system: add test coverage for download-status and upload-status