tahoe_fuse: system test: webapi connection: bug fix and small log output change.

tahoe_fuse: system test: Add FIXME comments.

tahoe_fuse: system test: Manage multiple clients for test grid...  System test setup is almost complete.

This is a little convoluted because of the "layer" design, but it appears
to function correctly and do properly ordered cleanup.

Before system test setup is complete, tahoe_fuse.py needs to be modified
to allow arbitrary client base directories.

tahoe_fuse: system test: Attempt to create a dirnode to place in <basedir>/private/root_dir.cap, but this fails because the network is too small...

This patch also factors out the "polling_operation" pattern.

tahoe_fuse: system test: Launch the fuse interface.

tahoe_fuse: system test: factor out some cleanup code.

tahoe_fuse: system test: Copy the introducer.furl with a possible race condition due to timeout.

A start at adding a system test for tahoe_fuse.  Incomplete...

Remove a redundant assertion for clarity.

Change stdout to rudimentary file-based logging.

Rename the unittest script for tahoe-fuse.

further fixes to windows build (pkg_resources / web templates)

now that web templates are found via pkg_resources, then the windows build
should in fact _use_ pkg_resources, rather than exclude it from the build
to prevent nevow exploding upon import due to the zip provider exception,
so that the pkgreshook can do install location based lookups

fix windows build's packaging of web templates

the recent changes to webish's template lookup (to use nevow.util hence
pkg_resources) to support the mac build, needs these changes to the windows
build in match the new lookup path

eliminate startup spam for resources that can't be found

remove debug messages (and traceback) from node output in the case that the
pkg resources hook can't find a requested file. it will now silently return
the empty string for files that can't be resolved

fix tahoe script installation logic

refine the logic in the .app which tries to install the 'tahoe' script.

now it will do nothing if 'tahoe' is found anywhere on the user's path,
and only if it's not present will it try to install it in each of the
candidate paths (/usr/local/bin ~/bin ~/Library/bin) which are on the
user's path

encode.py: log the contents of the uri_extension block

test_upload.py: implement remote_abort on our fake BucketWriter

fix windows build

having changed the web template retrieval to use nevow.util.resource_filename
(and hence through pkg_resources when available) that adds a requirement that
py2exe be given a hint to induce it to include the allmydata.web module so that
it becomes importable.

mac build: fixed permission problem on upload .dmg

setup: put back "chmod +x bin/tahoe" in the build target

_auto_deps.py: relax our simplejson dependency to 1.4, since I think it works and because that's what feisty offers

setup: weaken the requirement on zope.interface from >= 3.1.0 to "any"
We've never heard of a version of zope.interface that *wasn't* compatible, and there is a bug in Ubuntu's packaging of zope.interface which causes it to report its version number as 0.0.0:

https://bugs.launchpad.net/zope.interface/+bug/185418

setup: loosen our requirement on pycryptopp from >= 0.2.9 to >= 0.2.8
Again, tahoecs2 has pycryptopp v0.2.8, and reviewing the pycryptopp change history shows that there were no important bugfixes added since 0.2.8.

tests: it is okay to leave a src/allmydata/_auto_deps.py lying around after a build

have mac app write a tahoe upon startup

upon startup, the .app will look in '/usr/local/bin', '~/bin', '~/Library/bin'
if it finds one of these dirs, and can write into it, and there isn't already
a 'tahoe' present, it will write a small bach script which will launch the
binary contained within the .app bundle

this allows the .app bundle to offer the services of the 'tahoe' script
easily and simply

fix build breakage caused by auto_deps setuptools stuff

zooko recently added a runtime check, via setuptools, that specific versions of various
packages were reported as available through setuptools at runtime.

however exe and app builds run with collected egg contents, not linked against entire
eggs, i.e. the code is transcluded into a single library.zip

thus setuptools reports that those specific version cannot be reported as available,
though they are in fact available built into the library

this disables that runtime check if the app is running 'frozen'

add mac native build

This patch adds support for a mac native build.

At the moment it's a fairly simple .app - i.e. so simple as to be unacceptable
for a shipping product, but ok for testing and experiment at this point.

notably once launched, the app's ui does not respond at all, although its dock
icon does allow it to be force-quit.

this produces a single .app bundle, which when run will look for a node basedir
in ~/.tahoe.  If one is not found, one will be created in ~/Library/Application
Support/Allmydata Tahoe, and that will be symlinked to ~/.tahoe

if the basedir is lacking basic config (introducer.furl and root_dir.cap) then
the wx config wizard will be launched to log into an account and to set up
those files.

if a webport file is not found, the default value of 8123 will be written into
it.

once the node has started running, a webbrowser will be opened to the webish
interface at the users root_dir

note that, once configured, the node runs as the main thread of the .app,
no daemonisation is done, twistd is not involved.

the binary itself, from within the .app bundle, i.e.
"Allmydata Tahoe.app/Contents/MacOS/Allmydata Tahoe"
can be used from the command line and functions as the 'tahoe' executable
would in a unix environment, with one exception - when launched with no args
it triggers the default behaviour of running a node, and if necessary config
wizard, as if the user had launched the .app

one other gotcha to be aware of is that symlinking to this binary from some
other place in ones $PATH will most likely not work. when I tried this,
something - wx I believe - exploded, since it seems to use argv[0] to figure
out where necessary libraries reside and fails if argv[0] isn't in the .app
bundle.  it's pretty easy to set up a script a la
    #!/bin/bash
    /Blah/blah/blah/Allmydata\ Tahoe.app/Contents/MacOS/Allmydata\ Tahoe "${@}"

tweak webish to use resource_filename to find css and html files

using sibpath to find web template files relative to source code is functional
when running from source environments, but not especially flexible when running
from bundled built environments.  the more 'orthodox' mechanism, pkg_resources,
in theory at least, knows how to find resource files in various environments.

this makes the 'web' directory in allmydata into an actual allmydata.web module
(since pkg_resources looks for files relative to a named module, and that module
must be importable) and uses pkg_resources.resource_filename to find the files
therein.

setup: make find_trial self-contained so that we don't have a bootstrapping problem -- if allmydata can't be imported we still want to be able to run find_trial

setup: loosen requirement on simplejson from 1.7.3 to 1.7.1
Since apparently 1.7.1 is what we use on tahoecs2, and it works.

docs: edit install.html to point to about.html

setup: src/allmydata/_auto_deps.py is boring

setup: loosen our version requirement on zfec to require >= 1.1 instead of >= 1.3
I see that we have .deb's only for v1.1.

setup: require specific versions of dependencies, both at run-time (if pkg_resources is available) and at build-time, and make there be only once place where we specify those versions
Using pkg_resources.require() like this also apparently allows people to install multiple different versions of packages on their system and tahoe (if pkg_resources is available to it) will import the version of the package that it requires.  I haven't tested this feature.

setup: for reasons that I do not understand "show-eggspath" gives me a GNUmake error unless I move it down a couple of stanzas (until after the stanza that sets PYTHONPATH)

setup: use setuptools (if it is present) at run-time to give a specific error message on startup if a too-old version of a dependency is installed

setup: remove some things from .darcs-boringfile which are no longer boring since we no longer use them

setup: remove the --always-copy option, because it causes setuptools to ignore system and development apps

setup: remove the hatch-eggs make script since the setup.cfg accomplishes it, and make windows-exe depend on .built

setup: add a setup.cfg file which instructs setuptools to install all eggs in unzipped form and to always copy them into the target directory (even if they are already installed somewhere else on the path that setuptools searches, which includes the CWD)

setup: include cli.exe in the bootstrap setptools egg so that it will work on Windows (also include gui.exe just in case)

offloaded: reinstate fix for windows tests

in a discussion the other day, brian had asked me to try removing this fix, since
it leads to double-closing the reader.  since on my windows box, the test failures
I'd experienced were related to the ConnectionLost exception problem, and this
close didn't see to make a difference to test results, I agreed.

turns out that the buildbot's environment does fail without this fix, even with
the exception fix, as I'd kind of expected.

it makes sense, because the reader (specifically the file handle) must be closed
before it can be unlinked. at any rate, I'm reinstating this, in order to fix the
windows build

UNDO: offloaded: close reader before removing its file

unlinking a file before closing it is not portable. it works on unix, but fails
since an open file holds a lock on windows.

this closes the reader before trying to unlink the encoding file within the
CHKUploadHelper.

update confwiz to include account creation ui

this changes the confwiz so that hitting the 'create account' button, rather than
opening a webbrowser to the register page, instead provides a simple account creation
ui directly, along with changes to the backend (native_client.php) to support that.

also added a 'connecting...' message so the user sees a response when they hit
login or create account, since the getBasedir call can sometimes take up to ~5min
(which is unacceptable for a user product, but this at least somewhat ameliorates
the issue of the ui locking up and not giving the user any feedback while it's
happening)

setup: bundle setuptools_darcs-1.1.7
fixes #263

setup: use a customized version of ez_setup.py which bootstraps from Python-version-agnostic setuptools bootstrap eggs

setup: add a setuptools bootstrap egg that works on all versions of Python
For versions of Python >= 2.3.

setup: update some docs, metadata, and docstrings

setup: it is okay to leave src/allmydata_tahoe.egg-info in place
This directory allows programs to programmatically identify tahoe and its version number while "running from source" -- i.e. using ./setup.py develop.

setup: simplify the setup by removing the "tahoe dependencies" fake project
Now we use "./setup.py develop" to ensure that changes to our source code are immediately used without requiring a "make" step.  This simplification will hopefully pave the way for easier py2exe and py2app, solving the "Unit tests test the installed version" bug (#145), and perhaps also #164 and #176.

This patch also conditionalizes the use of setuptools_darcs on the absence of a PKG-INFO file, which is part of fixing #263.

docs: about.html: edit thanks to nej

doc: architecture.txt: start updating architecture.txt
I chose to remove mention of non-convergent encoding, not because I dislike non-convergent encoding, but because that option isn't currently expressed in the API and in order to shorten architecture.txt.  I renamed "URI" to "Capability".  I did some editing, including updating a few places that treated all capabilities as CHK-capabilities and that mentioned that distributed SSKs were not yet implemented.

docs: architecture.txt: reflow to 77 cols
Experiment showed that reflowing to 77 cols changed the fewest lines.

doc: fix typos and otherwise edit about.html

doc: add an overview to about.html
Hopefully this overview has the right combination of generality and precision to satisfy The Norm Hardy Request:
http://allmydata.org/pipermail/tahoe-dev/2007-November/000222.html

offloaded: fix failure in unit test on windows

in trying to test my fix for the failure of the offloaded unit test on windows
(by closing the reader before unlinking the encoding file - which, perhaps
disturbingly doesn't actually make a difference in my windows environment)
I was unable too because the unit test failed every time with a connection lost
error.

after much more time than I'd like to admit it took, I eventually managed to
track that down to a part of the unit test which is supposed to be be dropping
a connection.   it looks like the exceptions that get thrown on unix, or at
least all the specific environments brian tested in, for that dropped
connection are different from what is thrown on my box (which is running py2.4
and twisted 2.4.0, for reference)  adding ConnectionLost to the list of
expected exceptions makes the test pass.

though curiously still my test logs a NotEnoughWritersError error, and I'm not
currently able to fathom why that exception isn't leading to any overall
failure of the unit test itself.

for general interest, a large part of the time spent trying to track this down
was lost to the state of logging.  I added a whole bunch of logging to try
and track down where the tests were failing, but then spent a bunch of time
searching in vain for that log output.  as far as I can tell at this point
the unit tests are themselves logging to foolscap's log module, but that isn't
being directed anywhere, so all the test's logging is being black holed.

offloaded: close reader before removing its file

unlinking a file before closing it is not portable. it works on unix, but fails
since an open file holds a lock on windows.

this closes the reader before trying to unlink the encoding file within the
CHKUploadHelper.

offloaded: close the local filehandle after encoding is done, otherwise windows fails

offloaded: update unit tests: assert that interrupt/resume works, and that the helper deletes tempfiles

upload.py: make it easier to have an IUploadable that overrides encoding parameters: just set an attribute instead of subclassing

offloaded: upload.py: handle forward skips, to allow resumed uploads to send less than all the data. We still read all the data (to hash it, 'paranoid mode'), but we don't send it over the wire

offloaded.py: delete encoding tempfile when upload is complete

offloaded.py: when resuming, append new data to incoming file, rather than overwrite it.

offloaded.py: remove dead/redundant code

offloaded: improve logging across the board

megapatch: overhaul encoding_parameters handling: now it comes from the Uploadable, or the Client. Removed options= too. Also move helper towards resumability.

node.py: when calling os.abort(), announce it to stdout as well as the log

simplify buildbot upload of windows installer

since the installer upload got more complex (needing to chmod files before
rsyncing) I promoted it to a makefile target, simplifying the buildbot steps
involved

add winfuse plugin to installer

this adds the latest build of mike's winfuse plugins, now also running as
a windows service (and using the node.url, private/root_dir.cap files from
the noderoot specified by the registry) into the install process.

Wouldn't it be nice to reuse the allmydata library?

Support url-encoding in caps.

Make my contrib/README look like the allmydata.org version.

The start of unit tests for tahoe_fuse.py.

Formatting changes and a few FIXMEs for tahoe_fuse.py

Remove redundant docs from tahoe_fuse.py docstrings which are in the README.  Add implementation-specific notes in the doc strings.

Change the name of tahoe_fuse.py to something importable.

A patch to make tahoe-fuse.py work with 0.7.0 plus a howto README.

Use "my_vdrive.uri" for the root.  The old "fuse-bookmarks.uri" served exactly the same purpose.

Add extensions/README and more doc strings to the fuse extension.

cli scripts: remove the for-educational-purposes standalone clauses. Closes #261.

more minor build tweaks for windows

tweaking version number display, and fixing a couple of small bugs

tweak py2exe setup.py to link in xmlplus iff present

so in the build slave's environment, everything builds and runs fine without
'_xmlplus'.  In my existing local environment everything builds and runs only
if I tell py2exe to explicitly link in '_xmlplus'.

the _xmlplus module, tested for by the python standard library, comes from
PyXML ( http://pyxml.sf.net ) a project which is no longer maintained and,
for instance, hasn't released a build for windows past python 2.4

hence something about the way nevow and the std lib import xml dependencies
causes build environment incompatabilities between my box (which is running
py24 currently) and the buildslave (which is on py25, and doesn't have PyXML)
(if I remove _xmlplus from my environment, then a different set of nevow/xml
import problems emerge, which do not occur in the buildslave's py25 env)

this change tests the environment the build is happening in, and if the
_xmlplus package is importable, then py2exe is directed to link it into the
build. otherwise the package is left out.   as far as I comprehend the issue
this should make both of these environments work.  if other people have
problems around this issue, obviously I'm interested in learning more.

offloaded: cleanup to handle multiple simultaneous uploaders gracefully

encode: actually define the UploadAborted exception

test_storage: fix pyflakes warnings

test_system: fix pyflakes warnings

offloaded: improve logging, pass through options, get ready for testing interrupted uploads. test_system: add (disabled) interrupted-upload test

upload: add Encoder.abort(), to abandon the upload in progress. Add some debug hooks to enable unit tests.

upload: improve logging

upload: pass options through to the encoder

logging: enable flogging in more places, replace Node.log with flogging

testutil.py: hush the new (more strict) pyflakes

iputil.py: hush the new (more strict) pyflakes

Makefile: move use of 'cygpath' into win32-conditionalized section

windows installer build refinements

this resolves problems of py2exe's modulefinder collection of sources from
.zipped egg files, not by using easy_install to reach the --always-unzip
option, but rather with a small tool which unpacks any zipped egg files found
in misc/dependencies.  this fixes the py2exe build given rollback of the
easy_install stuff which had broken the unix builds.  misc/hatch-eggs.py
performs the honours.

this also includes a misc/sub-ver.py tool which substitutes elements of the
verion number for the current code base (by importing allmydata.__version__
hence make-version should be run first, and the python path carefully managed)
into template files using python's string interpolation of named args from a
dict as the templating syntax.  i.e. %(major)d %(minor)d %(point)d %(nano)d
each expand to the individual components of the version number as codified
by the pyutil.version_class.Version class.  there is also a %(build)s tag
which expands to the string form of the whole version number.  This tool is
used to interpolate the automatically generated version information into the
innosetup source file in a form consistent with innosetup/windows' restrictions

add windows installer target to build

add 'windows-installer' target to top level makefile to build a windows setup.exe package
using innosetup.  this assumes innosetup 5 is installed in program files as normal.

this doesn't include any logic to manage version numbers at this point, it's just a
simple experiment to test out building an installer as yet.

add confwiz to py2exe build

including setting up the windows xp look and feel stuff.

implement a very simple, wxpython based, config wizard

This implements a very small app using a wx ui to log a user in.

it takes a username and password, and submits them to a backend on the web site
(currently the allmydata test net webserver) to authenticate them.  It returns
the 'root_cap' uri of the user's virtual drive. Also the introducer.furl is
retrieved.  These are then written into the default noderoot basedir in their
usual files (private/root_dir.cap and introducer.furl)

a button is provided which will direct the user to the web site in the event
that they need to register in order to have an account to use.

once the user is successfully authenticated and the files are written, then
on win32 the tahoe service will be started.

added is_uri() function to allmydata.uri

added a small script as a stub for a config wizard

this doesn't implement any config wizard ui, but does a simple http fetch of
root_cap and introducer.furl from a php backend stub.