mac build: ahem. fix makefile probs

oops. I screwed up the makefile syntax further. buildslave would spend a
lot of fruitless time trawling the entire drive.  this fixes that. and a
stray -n.  ahem.  [looks down sheepishly]

native client - added upload metrics, machine name cfg, better queue resumption

mac build: fix makefile bug

blah $( foo )  is more explicit than blah ` foo ` in a bash-like context
unfortunately it doesn't translate very well to makefiles, for which $(
means something else entirely

mac build: tweaks to build fuse for 10.4 and 10.5

rather than trying to build a single .app with both 10.4 and 10.5 fuse
libraries embedded within it, for the time being, we're just going to
have independant 10.4 and 10.5 builds.

this provides a 10.5 _fusemodule.so, and build changes to copy the
appropriate versions of files for 10.4 or 10.5 from sub dirs of mac/
into the build tree before triggering py2app

mac build: make a couple of build dependency hints soft imports

the existing environment on otto requires a few build hints in order for
xml parsing to work properly.  these hints are unnecessary, and moreover
their import by depends.py is broken, in the 10.5 environment in which
zandr's buildslave is running.

log more peerinfo in download/upload/checker problems

mac build: updates to respect UPLOAD_DEST argument to make

the make mac-upload target now requires an UPLOAD_DEST argument to be given,
which is the rsync destination (including trailing '/') to which the version
stamped directory containing the .dmg should be placed.  the account the
build is running as (e.g. 'buildslave') should have ssh access to the account
specified in that dest. one might also consider locking the key down to the
target directory by adding something like
command="rsync --server -vlogDtpr . /home/amduser/public_html/dist/mac-blah/"
to the corresponding authorized_key entry on the target machine.

webish status: distinguish active uploads/downloads from recent ones

current-downloads status: add SI, size, make numsegs 1-based

native client - added ability to queue uploads and resume upon service restart

native client - renaming a few more instances to be consistent with Allmydata naming scheme for the release, maybe should parameterize this

native client - added AllmydataTray (replaces TahoeTray)

native client - updated system tray name, missed it at first

native client - updated to match naming for service and tray executable

native client - renaming things to take Tahoe out of the name, improving caching

confwiz: change smb service name to remove 'tahoe'

the name 'tahoe' is in the process of being removed from the windows
installer and binaries.  this changes the name of the smb service the
confwiz tries to start to 'Allmydata SMB'

native client - updating service name to match what the launcher uses

WinFUSE updates for beta release

mac: added 'mount filesystem' action to the mac gui

this adds an action to the dock menu and to the file menu (when visible)
"Mount Filesystem".  This action opens a windows offering the user an
opportunity to select from any of the named *.cap files in their
.tahoe/private directory, and choose a corresponding mount point to mount
that at.

it launches the .app binary as a subprocess with the corresponding command
line arguments to launch the 'tahoe fuse' functionality to mount that file
system.  if a NAME.icns file is present in .tahoe/private alonside the
chosen NAME.cap, then that icon will be used when the filesystem is mounted.

this is highly unlikely to work when running from source, since it uses
introspection on sys.executable to find the relavent binary to launch in
order to get the right built .app's 'tahoe fuse' functionality.

it is also relatively likely that the code currently checked in, hence
linked into the build, will have as yet unresolved library dependencies.
it's quite unlikely to work on 10.5 with macfuse 1.3.1 at the moment.

macfuse: move macfuse files around to simplify pythonpath

the mac/macfuse subdirectory needed to be added to the pythonpath in order
to build a binary incorporating the mac fuse system.  this change should
make those modules accessible relative to the mac/ directory which is
implicitly included in the .app build process.

macfuse: rework fuse initialisation, integrate with 'tahoe'

this provides a variety of changes to the macfuse 'tahoefuse' implementation.
most notably it extends the 'tahoe' command available through the mac build
to provide a 'fuse' subcommand, which invokes tahoefuse.  this addresses
various aspects of main(argv) handling, sys.argv manipulation to provide an
appropriate command line syntax that meshes with the fuse library's built-
in command line parsing.

this provides a "tahoe fuse [dir_cap_name] [fuse_options] mountpoint"
command, where dir_cap_name is an optional name of a .cap file to be found
in ~/.tahoe/private defaulting to the standard root_dir.cap. fuse_options
if given are passed into the fuse system as its normal command line options
and the mountpoint is checked for existence before launching fuse.

the tahoe 'fuse' command is provided as an additional_command to the tahoe
runner in the case that it's launched from the mac .app binary.

this also includes a tweak to the TFS class which incorporates the ctime
and mtime of files into the tahoe fs model, if available.

runner: tweaked runner to make it easier to extend with additional subcommands

runner provides the main point of entry for the 'tahoe' command, and
provides various subcommands by default. this provides a hook whereby
additional subcommands can be added in in other contexts, providing a
simple way to extend the (sub)commands space available through 'tahoe'

docs: change example capability

docs: fix name of docs dir in relnotes.txt

'tahoe start': only create logs/ if we're starting a tahoe node

test_runner.py: test launching an introducer too

'tahoe start': allow this to start arbitrary .tac file -bearing directories (like the log gatherer)

docs: update relnotes.txt

Merge patch which switches to SHA-256d with patch that adds punctuation and capitalization to the comment about the hash value.

commenting out open_welcome_page argument that doesn't seem to work with real installer

test_system.py: improve coverage of webish.py

webish.py: remove some dead code

confwiz: make opening the welcome page options, off by default on windows, on on mac

confwiz: fix mac confwiz w.r.t. recent confwiz changes

confwiz: update the config wiz to open the welcome page

regardless of platform, the confwiz now opens the welcoe page upon
writing a config.  it also provides a 'plat' argument (from python's
sys.platform) to help disambiguate our instructions by platform.

confwiz: add command line options

adds command line option parsing to the confwiz.

the previous --uninstall option behaves as before, but it parsed
more explicitly with the twisted usage library.

added is a --server option, which controls which web site the
backend script for configuration is to be found on. (it is looked
for at /native_client.php on the given server) this option can be
used on conjunction with --uninstall to control where the uninstall
is recorded

Options:
  -u, --uninstall  record uninstall
  -s, --server=    url of server to contact
                   [default: https://beta.allmydata.com/]

e.g. confwiz.py -s https://www-test.allmydata.com/

BIG COMPATIBILITY BREAK: update hash tags, switch to SHA-256d everywhere

uri.py: hush pyflakes warning

docs: update install and usage docs, improve cli "usage" output, make new example directories, add unit test that fails code which prints out sentences that don't end with punctuation marks

docs: edit running.html

add unit test asserting that allmydata.util.base32 matches rfc 3548

merge patch which adds base32 to test_util with patch which removes bencode from test_util

macfuse: another tahoe fuse implementation

This is the result of various experimentation done into using python-fuse
to provide access to tahoe on the mac.  It's rough in quite a few places,
and is really the result of investigation more than a thorough
implemenation of the fuse api.

upon launch, it looks for the users root_dir by opening ~/.tahoe/node.url
and ~/.tahoe/private/root_dir.cap it then proceeds to cache the directory
structure found by walking the users tahoe drive (safely in the face of
directory loops) into memory and then mounts that filesystem.

when a file is read, it calls the tahoe node to first download the file
into a cache directory (~/.tahoe/_cache) and then serves up the file
from there.

when a file is written, a temporary file is allocated within the tmp dir
of the cache, and upon close() (specifically upon release()) the file is
uploaded to the tahoe node, and the new directory entry written.

note that while the durectory structure is cached into memory only when
the filesystem is mounted, that it is 'write through' i.e. changes made
via fuse are reflected into the underlying tahoe fs, even though changes
made to the tahoe fs otherwise show up only upon restart.

in addition to opening files for read and write, the mkdir() and rename()
calls are supported.  most other file system operations are not yet
supported.  notably stat() metadata is not currently tracked by tahoe,
and is variably reported by this fs depending on write cache files.

also note that this version does not fully support Finder.  access through
normal unix commands such as cat, cp, mv, ls etc works fine, and read
access to file from within finder (including preview images and double-
click to open) work ok.  but copies to the tahoe drive from within finder
may or may not succeed, but will always report an error. This is still
under investigation.

also note that this does not include any build integration.  the included
_fusemodule.so was built on mac os 10.4 against macfuse 1.3.0, and is
known to not work against 10.5-1.3.1  it's possible it may also contain
dependencies upon parts of macports used to build the python that it was
built against. this will be cleaned up later.

usage:
    python tahoefuse.py /Path/to/choice/of/mountpoint
or optionally
    python tahoefuse.py -ovolicon=/Path/to/icon.icns /Path/to/mountpoint

upon startup, tahoefuse will walk the tahoe directory, then print a
summary of files and folders found, and then daemonise itself. to exit,
either eject the 'drive' (note: 10.5 doesn't show it as a drive, since
it considers fuse to be a connected server instead) or unmount it via
umount /Path/to/mountpoint etc.

mac: fix a small bug in the 'tahoe' script

idlib: make failures much clearer when encountering unicode

while investigating fuse related stuff, I spent quite a while staring at
very cryptic explosions I got from idlib.  it turns out that unicode
objects and str objects have .translate() methods with differing signatures.
to save anyone else the headache, this makes it very clear if you accidentally
try to pass a unicode object in to a2b() etc.

remove bencode, yay

docs/uri.txt: update to reflect mutable files

unicode handling: declare dirnodes to contain unicode child names, update webish to match

updating installer for beta release

more minor architecture.txt changes

architecture.txt: fix some things that have changed a lot in recent releases

windows installer: remove uninstall tracking, add welcome page

in justin's testing, the uninstall tracking was hanging the uninstall
process (on vista) for now, until we see enough need for it to warrant
more detailed testing/debugging/tweaks, I'm simply disabling the call
to confwiz --uninstall

also this adds a 'welcome page' to the install process. once the user
has installed the windows build, then the installer will open a web
browser to the 'welcome page' on the website ('/welcome_install')

mutable.py: add comments to justify initial-read size choices

docs/dirnodes.txt: add notes on dirnode sizes

mutable.txt: fix offset math in the SDMF layout

switch from base62 to base32 for storage indices, switch from z-base-32 to rfc 3548 base-32 for everything, separate out base32 encoding from idlib

docs: link straight to the release tar.gz in install.html

docs: update relnotes.txt for v0.8.0!

docs: update relnotes, running.html

docs: beginning of update to relnotes.txt for v0.8

mac: shebang usr bin env python
This makes it so that I can run "./setup.py" on the command-line, instead of "python ./setup.py".

'tahoe catalog-shares': add SDMF filesize to the output, update misc/find-share-anomalies.py to match

add test coverage for the /stats web page

mutable.py: reject shares with different k/N than we expect. Quick fix for #312: avoids data corruption but has availability problems.

test_web: remove test_GET_DIRURL_large, it failed to exercise the problem in #237 and consumes a disproportionate amount of time

setup: remove older bundled pycryptopp-0.2.10

setup: bundle pycryptopp-0.3.0

docs: 10 blocks by default, not 12

webish.py: fix for #237: when listing large directories, insert a turn break once every 100 children, to work around non-optimized tail recursion Deferreds

docs: edits and updates to architecture.txt, with Amber

setup: remove older bundled version of setuptools_darcs

setup: remove another older bundled setuptools

setup: remove older bundled setuptools

setup: remove older bundled version of darcsver

fix a few unused imports and suchlike, discovered by pyflakes

webish: flogify the remaining log messages

webish: censor all caps before logging the HTTP request, to preserve user privacy

download status: refactor into a separate object, so we don't need to keep the Download itself around for a long time

introducer: remove encoding-parameter config, for now

use base62 encoding for storage indexes, on disk and in verifier caps, and in logging and diagnostic tools
base62 encoding fits more information into alphanumeric chars while avoiding the troublesome non-alphanumeric chars of base64 encoding.  In particular, this allows us to work around the ext3 "32,000 entries in a directory" limit while retaining the convenient property that the intermediate directory names are leading prefixes of the storage index file names.

webish: add /status page to display current uploads/downloads

make current upload/download status objects available from the client

add download-status objects, to track download progress

add upload-status objects, to track upload progress

misc/find-share-anomalies.py: tool to analyze 'tahoe catalog-shares' output and look for problems

webish: add edge metadata to t=json output, including timestamps

catalog-shares: add expiration time to output

add 'tahoe catalog-shares' tool, to make a one-line summary of each share file. This can help do cross-server correlation of sharefiles, looking for anomalies

test_dirnode.py: improve error messages in case timestamp tests fail

test_dirnode.py: simplejson-1.7.1 incorrectly rounds floats to two decimal places. Don't let this bug flunk the timestamp test.

test_system.py: refactor bounce_client, probably make it stop failing on cygwin

webish: display timestamps

test_dirnode.py: assert that we update mtime and preserve ctime

dirnode.py: add metadata= to add_file(), add tests

test_dirnode.py: add diag output to test-ctime/mtime tests

dirnode: add ctime/mtime to metadata, update metadata-modifying APIs. Needs more testing and sanity checking.

docs/install-details.html: wrap to 80 cols, no content changes

test_system: remove the hackish debug_interrupt= attribute magic used to exercise interrupted-upload resumption, instead just make the Uploadable bounce the helper halfway through the upload

dirnodes.txt: update docs a bit, we don't yet do choose-latest-version, just choose-any-version

webapi.txt: document POST /uri?t=mkdir