fix nevow build prob for py2exe

nevow attempts to use pkg_resources to find the formless css file upon
import, if pkg_resources is available.  unfortunately using pkg_resources
to find files is not supported if the files are being loaded from a zip
archive (i.e. only source and egg), and further py2exe uses a zip bundle
for all the code and dependent libraries.  hence having both pkg_resources
and nevow built into an exe causes nevow to explode upon import.

this tells py2exe not to link pkg_resources into the target, so that
this behaviour isn't stimulated.  the side effect being that pkg_resources
isn't available.

added tweaked sibpath implementation

use of twisted.python.util.sibpath to find files relative to modules doesn't
work when those modules are bundled into a library by py2exe.  this provides
an alternative implementation (in allmydata.util.sibpath) which checks for
the existence of the file, and if it is not found, attempts to find it relative
to sys.executable instead.

resolve makefile conflicts

and surpress echo of echoes

add 'run' command to tahoe

adds a 'run' commands to bin/tahoe / tahoe.exe
it loads a client node into the tahoe process itself,
running in the base dir specified by --basedir/-C and
defaulting to the current working dir.

it runs synchronously, and the tahoe process blocks until
the reactor is stopped.

add build dependencies to support py2exe's modulefinder

adds windows/depends.py as a container for modules which are needed at runtime
but which py2exe's modulefinder dependency analysis fails to find as requisites.

added a 'repl' command to tahoe.exe

this is probably not of very high utility in the unix case of bin/tahoe
but is useful when working with native builds, e.g. py2exe's tahoe.exe,
to examine and debug the runtime environment, linking problems etc.

add windows-exe target to makefile

tweaks to build process to support py2exe

py2exe is unable to handle .eggs which are packaged as zip files
in preference it will pull in other versions of libraries if they
can be found in the environment.

this changes causes .eggs to be built as .egg directories, which
py2exe can handle.

first stab at windows build details.

there are many and various fiddly details that were involved in this process
on mountain view.  This is a stripped down version of the build process used
there.  there's hence a good chance that one or two necessary details got
stripped down through the cracks.

this provides a py2exe setup.py to build a tahoe.exe and a tahoesvc.exe
the former is equivalent to bin/tahoe, but without the start/stop commands.
the latter is a windows service that instantiates a client whose basedir
is found in the registry.

tweak running to make node start/stop code optional

add a 'install_node_control' flag to runner.run(), default True
this enables the start/stop node commands
which are not too useful on windows

tests: increase the timeout on a test which failed on the overloaded virtual buildslaves

docs: mention some tips of how to resolve a certain dependency on Dapper

docs: start updating install-details.html to reflect current auto-dependency and setuptools requirements, and to be better written

setup: require setuptools >= v0.6c6 on all platforms
Technically, we could get away with v0.6c5 or v0.6c4 on non-cygwin platforms, but if someone currently doesn't have setuptools >= v0.6c6 installed then our setup process will just use our bundled setuptools v0.6c7 anyway, so it will still work, and this makes the setup.py and the accompanying documentation simpler.

setup: remove hard import of ez_setup -- we can proceed even if ez_setup can't be imported

setup: shebang usr bin env python

setup: remove the hack to determine if we can avoid the explicit setuptools-managed dependency on nevow (which was useful for building on dapper)
For simplicity, and to avoid weird failure modes that result from importing nevow during the build process, we now simply require nevow >= 0.6.0.  We currently bundle in misc/dependencies nevow v0.9.18, which will not work on Dapper, since it requires Twisted >= 2.4.0, and Dapper comes with Twisted 2.2.0.  Dapper users can (a) install a newer Twisted, (b) install nevow 0.6.0 in egg form so that setuptools can tell that it is installed (without importing it), (c) beg us to start shipping nevow 0.6.0 instead of nevow 0.9.18 in our bundle.

setup: update the version numbers of packages that we require, add zope.interface to our requirements, make nevow >= 0.6.0 always be a requirement

docs: add require version numbers of deps to install.html, move pywin32 from install.html to install-details.html, change ref to install-details.html in install.html

offloaded: move interfaces to interfaces.py, start implementing backend

upload.py: start removing wait_for_numpeers code

offloaded: basic test for client-side of AssistedUploader

offloaded: create a Helper if 'run_helper' is non-empty

test_system: slight refactoring to eventually make it easier to configure some nodes with the output of others

Makefile: pyflakes: the newest pyflakes is more picky, more verbose, and prints the same message multiple times

offloaded: more code, fix pyflakes problems, change IEncryptedUploader a bit

offloaded: early code: most of client-side, defined the RemoteInterfaces

check_speed.py: re-enable 100x200B and 1x100MB CHK tests

docs/mutable-DSA.svg: fix background color, resolution for export-to-png

docs/mutable-DSA.svg: add a picture of the upcoming DSA-based mutable file structure

User friendly error messages, and updates to use new URI formats.

TAG allmydata-tahoe-0.7.0

fix webish unit tests by making node.url file optional

test_system: assert that BASEDIR/node.url is created properly

reinstate creation of node.url files upon startup

a recent purge of the start.html code also took away the logic that wrote
'node.url' into the node root.  this is required for the tahoe cli tool to
find the node.  this puts back a limited fraction of that code, so that the
node writes out a node.url file upon startup.

short note about building cryptopp under cywin/native on win

add a note to README.win32 about building cryptopp etc on cygwin

Make the purpose and location of the tahoe executable more explicit in install.html.

setup: update licensing information in setup.py comments and metadata

docs: update configuration.txt to mention the private subdir and edit the description of webport

docs: fix hyperlinks from install.html to the Win32 and Cygwin notes

docs: update the example link in using.html

direct the user to docs/write_coordination.html in case of an UncoordinatedWriteError

docs: make it so that people will stop experiencing build failure due to g++ not being installed

docs: relnotes for 0.7.0

CREDITS for nejucomo

util.log: add levels like UNUSUAL

mutable: improve logging: mark events with level=log.WEIRD and log.UNUSUAL

mutable.py: update comment about uncoordinated writes appearing as not-enough-peers(unable to get privkey) errors

setup: update in-line doc of get-version.py

docs: add not to dirnode.txt that it is obsolete

rename "dir-uri" to "dir-cap"

tahoe-fuse: print out helpful error messages if the caller didn't give the right context

setup: fix it to direct the user to install.html in case of build failure

docs: some documentation updates for 0.7.0

setup: direct user to doc/install.html if the build fails

doc: describe how to start client first in running.html

Makefile: don't run darcsver if we already have _version.py. Ought to fix building on non-darcs checkouts, and close #257

remove runtime dependency upon setuptools (which crept into allmydata.get_package_versions)

contrib/README: make it clear that these things might not work

rename 'extensions' to 'contrib', with the goal of making it clear that contrib/ things might not work

added "tahoe webopen" command

taking the same arguments as tahoe ls, it does a webbrowser.open to the page
specified by those args.  hence "tahoe webopen" will open a browser to the
root dir specified in private/root_dir.cap by default.

this might be a good alternative to the start.html page.

updated roadmap.txt to show things that are finished and add WebDAV

more introductory doc cleanup
mv README to docs/about.html and reformat it as HTML
add a new README which is a text file pointing to docs/{about,install,running}.html
include the Transitive Grace Period Public Licence in its HTML form (it is too big)

quick hacks to make install-details.html viewable as html

new licences, move details from README to doc/install-details.html

suppress the skipped and the todo unit tests in order to make unit test results prettier (the install.html instructs users to run the unit tests)

doc: even simpler running.html

fix test_cli to put the root_dir.cap in the private subdir

cmdline: give useful error messages about the --dir-uri and ~/.tahoe/private/root_dir.cap

a few formatting tidy-ups

test_client.py: validate more versioning code

test_client.py: assert allmydata.__version__ is not unknown

Makefile: run 'make-version' at least once, in the 'build' target, to make sure we populate src/allmydata/_version.py

remove automatic private dir
 * rename my_private_dir.cap to root_dir.cap
 * move it into the private subdir
 * change the cmdline argument "--root-uri=[private]" to "--dir-uri=[root]"

add human-encodings of caps, refactor encodings of caps, tighten checks, fix unit tests to use values of the right size

add regexes to idlib to match certain kinds of base32-encoded values

fix idlib.could_be_base32_encoded_l() to accept *only* valid strings

refactor constructing URI objects from strings and add human-encoding of WriteableSSKFileURI

docs/Makefile: rules to turn our SVG images into .png and .eps forms

debian: update dependencies to match calc-deps.py, mainly pycryptopp-0.2.8

running.html: fix usage of 'tahoe create-client' and 'tahoe start', explain ~/.tahoe, add closing tags

README: update required version numbers, fix small cut-and-paste error

docs: update install.html and update and format running.html

setup: add back "build-deps" as an alias for "build-auto-deps" since I don't know how to configure the buildmaster
And I am very tired.

setup: whoops, fix the use of source-tree-root-dir eggs in our Makefile

docs: a couple of improvements to install.html

setup: fix bin/tahoe to include .egg's from the source tree root dir as well
This is necessary, as we can't prevent setuptools from respecting any such eggs, therefore we need to respect them in order to maintain consistency.  However, we don't normally install any "install_requires" eggs into the source tree root dir.

setup: rename build-deps to build-auto-deps

setup: "make" now defaults to "simple-build", which depends on build-deps
This is for conformance with the simple new install.html.  People who don't want build-deps can run "make build".

setup: clean up darcsver egg on "make clean"

setup: update the list of files that we think are boring when we are using darcs

setup: finish renaming of docs/testnet to docs/testgrid

setup: use darcsver instead of pyutil for darcsver, use setup.py plugin instead of executable for darcsver
This hopefully fixes the deb builders.

setup: add darcsver source tarball to misc/dependencies
In the future, we're likely to stop keeping misc/dependencies under revision control, as per

http://allmydata.org/trac/tahoe/ticket/249

docs: even further simplify and reformat install.html

docs: format install.html into HTML format

docs: a bunch of updates to simplify the process of installing from source and running Tahoe
These changes are a work-in-progress -- there are many incomplete and incorrect parts, but the install.html and running.html files
are complete and should work (and they are delightfully concise!).  I'm pushing this just to let people see incremental progress
and to solicit feedback.  "Testing out" the install.html and running.html files and submitting patches or bug reports would be
quite welcome.

More to come.

docs: a few updates, edits, and formatting tweaks to README.win32

refactor webish.py slightly, improve the test coverage a bit. One test is marked SKIP pending improvements in webish.py