updating installer for beta release

more minor architecture.txt changes

architecture.txt: fix some things that have changed a lot in recent releases

windows installer: remove uninstall tracking, add welcome page

in justin's testing, the uninstall tracking was hanging the uninstall
process (on vista) for now, until we see enough need for it to warrant
more detailed testing/debugging/tweaks, I'm simply disabling the call
to confwiz --uninstall

also this adds a 'welcome page' to the install process. once the user
has installed the windows build, then the installer will open a web
browser to the 'welcome page' on the website ('/welcome_install')

mutable.py: add comments to justify initial-read size choices

docs/dirnodes.txt: add notes on dirnode sizes

mutable.txt: fix offset math in the SDMF layout

switch from base62 to base32 for storage indices, switch from z-base-32 to rfc 3548 base-32 for everything, separate out base32 encoding from idlib

docs: link straight to the release tar.gz in install.html

docs: update relnotes.txt for v0.8.0!

docs: update relnotes, running.html

docs: beginning of update to relnotes.txt for v0.8

mac: shebang usr bin env python
This makes it so that I can run "./setup.py" on the command-line, instead of "python ./setup.py".

'tahoe catalog-shares': add SDMF filesize to the output, update misc/find-share-anomalies.py to match

add test coverage for the /stats web page

mutable.py: reject shares with different k/N than we expect. Quick fix for #312: avoids data corruption but has availability problems.

test_web: remove test_GET_DIRURL_large, it failed to exercise the problem in #237 and consumes a disproportionate amount of time

setup: remove older bundled pycryptopp-0.2.10

setup: bundle pycryptopp-0.3.0

docs: 10 blocks by default, not 12

webish.py: fix for #237: when listing large directories, insert a turn break once every 100 children, to work around non-optimized tail recursion Deferreds

docs: edits and updates to architecture.txt, with Amber

setup: remove older bundled version of setuptools_darcs

setup: remove another older bundled setuptools

setup: remove older bundled setuptools

setup: remove older bundled version of darcsver

fix a few unused imports and suchlike, discovered by pyflakes

webish: flogify the remaining log messages

webish: censor all caps before logging the HTTP request, to preserve user privacy

download status: refactor into a separate object, so we don't need to keep the Download itself around for a long time

introducer: remove encoding-parameter config, for now

use base62 encoding for storage indexes, on disk and in verifier caps, and in logging and diagnostic tools
base62 encoding fits more information into alphanumeric chars while avoiding the troublesome non-alphanumeric chars of base64 encoding.  In particular, this allows us to work around the ext3 "32,000 entries in a directory" limit while retaining the convenient property that the intermediate directory names are leading prefixes of the storage index file names.

webish: add /status page to display current uploads/downloads

make current upload/download status objects available from the client

add download-status objects, to track download progress

add upload-status objects, to track upload progress

misc/find-share-anomalies.py: tool to analyze 'tahoe catalog-shares' output and look for problems

webish: add edge metadata to t=json output, including timestamps

catalog-shares: add expiration time to output

add 'tahoe catalog-shares' tool, to make a one-line summary of each share file. This can help do cross-server correlation of sharefiles, looking for anomalies

test_dirnode.py: improve error messages in case timestamp tests fail

test_dirnode.py: simplejson-1.7.1 incorrectly rounds floats to two decimal places. Don't let this bug flunk the timestamp test.

test_system.py: refactor bounce_client, probably make it stop failing on cygwin

webish: display timestamps

test_dirnode.py: assert that we update mtime and preserve ctime

dirnode.py: add metadata= to add_file(), add tests

test_dirnode.py: add diag output to test-ctime/mtime tests

dirnode: add ctime/mtime to metadata, update metadata-modifying APIs. Needs more testing and sanity checking.

docs/install-details.html: wrap to 80 cols, no content changes

test_system: remove the hackish debug_interrupt= attribute magic used to exercise interrupted-upload resumption, instead just make the Uploadable bounce the helper halfway through the upload

dirnodes.txt: update docs a bit, we don't yet do choose-latest-version, just choose-any-version

webapi.txt: document POST /uri?t=mkdir

test_system.py: remove that ugly debug_stash_RemoteencryptedUploadable hack, now that UploadResults give us a better approach

upload: if we lose the helper, go back to doing direct-to-server uploads instead of causing all subsequent uploads to fail

upload.EncryptAnUploadable: use 50KiB read chunks (instead of 50KB), to match the chunksize requested by the upload helper

test_upload.py: hush pyflakes

test_upload.py: add test to exercise CHK hashing variations

test_cli: oops, need to update this when the CHK hash changes

change encryption-key hash to include encoding parameters. This is a minor compatibility break: CHK files encoded (with convergence) before and after this will have different keys and ciphertexts. Also switched to SHA-256d for both the data-to-key hash and the key-to-storageindex hash

hashutil: add tagged_hash_256d and tagged_hasher_256d

upload: rework passing of default encoding parameters: move more responsibility into BaseUploadable

offloaded: oops, need more tricks to make the unit tests pass

helper: return full uri-extension data to the client, so it can compare encoding parameters

interfaces: remove spurious line that counted against the figleaf coverage

test_util: add full coverage for allmydata.util.deferredutil

windows: track uninstalls

the confwiz and the native_client backend both gained hooks to track
uninstall events.  however that somehow didn't make it to the uninstaller :-)

tahoe dump-share: remove --filename option, just take it from argv

test_system: deferred-handling logic in test_upload_and_download was broken

dump-share: tweak formatting a little bit, to make dumping multiple shares in a row easier to read

add 'tahoe find-shares' command, to locate share files on a local node's disk

dump-cap: include UEB_hash in output

download.py: make logging safe in ValidatedBucket

webish: more upload stats: total encode-and-push rate, already-in-grid existence check time

webish: add when_done= to POST /uri?t=upload . I did not add a 'recent uploads' section to the welcome page, but I think the new upload-results page provides the desired data

UploadResults: add more helper timing stats (ciphertext fetch times)

add upload-results timing info for helper uploads. This changes the Helper protocol, and introduces a compatibility break

add upload timings and rates to the POST /uri?t=upload results page

webish: make POST /uri?t=upload deposit you on an 'Upload Results' page

webish.py: refactor /uri handlers, one rend.Page class per operation

test_web.py: hush pyflakes

webish: add PUT /uri?mutable=true

webish: add POST /uri?t=upload&mutable=true

webish: add upload/view-uri forms (not associated with any particular directory) to the welcome page. Document POST /uri?t=upload .

upload: return an UploadResults instance (with .uri) instead of just a URI

webish: add storage-consumed estimate on welcome page

storage: change service name from 'storageserver' to 'storage'

webish: display tahoe import path on the welcome page, to help figure out where the code is coming from

refactor node startup, remove tub_ready()

setup: fix the md5sum of the bundled setuptools egg

docs/testgrid/introducer.furl: update to new introducer

webish: condense display of nickname a little bit

webish: show nickname too

webish: add extra introducer data (version, timestamps) to Welcome page

test_introducer.py: increase timeouts on poll() calls

bundle foolscap-0.2.4 instead of 0.2.3

bump foolscap dependency to 0.2.4, since we now use log.err

docs/configuration.txt: wrap to 80 cols

docs/configuration.txt: document nickname, no_storage, readonly_storage

introducer: remove remaining bits of 'push-to-myself' flags. The uploading/downloading node is no longer special.

introducer: remove PeerCountObserver, tests are managing with purely poll-for-connected approachers