CLI: tahoe_check: stop escaping the JSON output when using --raw

#598: first cut of 'tahoe backup' command: no backupdb, but yes shared-unchanged-directories and Archives/TIMESTAMP and Latest/

CLI: move node-url -should-end-in-slash code into a common place, so other tools can rely upon it later

tahoe_ls: CLI command should return rc=0, not None

setup: add site-dirs for Debian and for some (?) Mac OS X

misc/dependencies: update setuptools_trial from 0.4 to 0.5

.darcs-boringfile: ignore bin/tahoe and bin/tahoe-script.py, since both are now generated

Makefile: fix 'clean' target to remove bin/tahoe and bin/tahoe-script.py, since both are now generated

storage: disable test_large_share again: my linux laptop has less than 4 GiB free

web/directory: add a link from readwrite directories to a read-only version, and fix the 'SI=xxx' header to actually use the storage index, not the writekey

uri: add abbrev_si() method, which returns the abbreviated storage index

setup: make sure you use darcsver whenever you are going to run trial
This fixes the bug Brian had where he ran "python ./setup.py trial" and the allmydata-tahoe version number came out as 0.0.0.

setup: require setuptools_trial >= 0.5, and delegate to it the job of deciding which Twisted reactor to use for the current platform

Makefile: use 'setup.py test' for test/quicktest targets (instead of
'setup.py trial'). 'setup.py trial' clobbers the tahoe .egg's PKG-INFO
"Version:" field (resetting it to 0.0.0), possibly because it isn't invoking
the darcsver subcommand that 'setup.py test' does before it runs the 'trial'
subcommand.

This slows down quicktest by another couple of seconds (see #591) and adds
more noise to its output, but without this change, 'make test' and 'make
quicktest' fail on test_runner (which spawns bin/tahoe as a subprocess, and
with a mangled Version:, the setuptools-based entry point script refuses to
recognize our source tree as a usable version of Tahoe).

Makefile: remove the obsolete stats-gatherer-run target

setup: remove the "build three times in a row" kludge now that #229 is fixed, and spell build "build" instead of "build_tahoe"

setup: require darcsver >= 1.2.0 and rely exclusively on darcsver to set the version string

setup: add new bundled darcsver-1.2.0

setup: remove old bundled darcsver-1.1.8

setup: add doc explaining why we set zip_safe=False

setup: setup.cfg aliases get expanded only once, so put everything you want to happen during the "test" step in the alias

setup: invoke darcsver whenever doing an sdist

setup: more verbose assertion failure in test_runner

setup: subclass setuptools.Command instead of distutils Command
There's almost no difference between them, but let's be consistent try to use the setuptools API as it was intended.

setup: temporarily comment-out the horrible kludge to work-around setuptools #17, while I figure out how to solve it better

setup: always create a support dir and populate it with a site-packages and add same to the PYTHONPATH, just in case someone is going to do "build", "develop", or "test" or something else which triggers a build
I think there must be a much better solution for this -- probably to fix setuptools #54 and ship our own fork of setuptools and rely on it.

setup: if any of "build", "develop", or "test" appear in the sys.argv then that means we'll be doing a develop, so add the workarounds for setuptools #17 in any case
I think there must be a much better solution for this -- probably to fix setuptools #17 and ship our own fork of setuptools and rely on it.

setup: add metadata indicating compatibility with python 2.6

setup: a new improved way to create tahoe executables
Create the 'tahoe-script.py' file under the 'bin' directory. The 'tahoe-script.py' file is exactly the same as the 'tahoe-script.template' script except that the shebang line is rewritten to use our sys.executable for the interpreter. On Windows, create a tahoe.exe will execute it.  On non-Windows, make a symlink to it from 'tahoe'.  The tahoe.exe will be copied from the setuptools egg's cli.exe and this will work from a zip-safe and non-zip-safe setuptools egg.

storage: enable the test of a share larger than 2 GiB; this will probably be too expensive on Mac OS X, but I think it won't be on all the other platforms ; I will probably set it to SkipTest if the sys.platform is Mac after seeing the results of this buildbot run

setup: bundle darcsver-1.1.8

setup: remove old bundled dependency darcsver-1.1.5

CLI: fix examples in tahoe put --help

trivial: remove unused imports noticed by pyflakes

setup: fix test_runner to invoke bin/tahoe.exe instead of bin/tahoe if on Windows (this is what happens when a user invokes bin/tahoe on Windows)

setup: fix test_runner to assert that lines which are output to stderr must end with a punctuation mark (apparently re.search("x$", "x\r\n") does not match.  :-()

setup: fix test_runner.RunNode.test_baddir -- it was left incomplete and broken by a recent patch

setup: hack the sys.argv to set poll reactor if "python ./setup.py test" in addition to if "python ./setup.py trial"; remove another hack which has been moved setup.cfg; remove setup_requires Twisted since now we actually setup_require setuptools_trial and it install_requires Twisted.

setup: go ahead and check for noise in test_client_no_noise

setup: always run "build" before running "test"

setup: add a test for a warning message from importing nevow, marked as TODO, comment-out the assertion of no-noise inside other test_runner tests

setup: always run build_tahoe before running tests

diskwatcher: cache growth results (which take 30s to generate) for 3 minutes, to help munin, which invokes it 6 times in a row every 5 minutes

make streaming-manifest stop doing work after the HTTP connection is dropped

setup: sys.exit() raises a SystemExit exception on Python 2.4 on Solaris -- fix it so that bin/tahoe doesn't interpret this as its brother having been non-executable

setup: find a "bin/tahoe" executable to test based on allmydata.__file__ instead of based on the CWD
This means that the tests still work if you are executing them from a CWD other than the src dir -- *if* the "bin/tahoe" is found at os.path.dirname(os.path.dirname(os.path.dirname(allmydata.__file__))).
If no file is found at that location, then just skip the tests of executing the "tahoe" executable, because we don't want to accidentally run those tests against an executable from a different version of tahoe.

rollback the #591 fix, since it breaks quicktest entirely

#509: remove non-streaming 'tahoe manifest' CLI form

CLI.txt: improve docs on 'tahoe manifest' to cover --verify-cap, --repair-cap, and streaming JSON

#509 CLI: add 'tahoe manifest --stream'

#509: test_system.py: add test for streamed-manifest

test_system: rearrange DeepCheckWebGood to make it easier to add CLI tests

setup: use "trial" executable instead of the setuptools_trial plugin for "make quicktest"
This is to fix #591 ("make quicktest" could be quicker and less noisy).  This means that "make quicktest" won't work unless the user has manually installed Twisted already such that the "trial" executable is on their PATH and the Twisted package is on their PYTHONPATH.  This bypasses the behavior of setuptools_trial which builds and checks package dependencies before executing the tests.

CLI: remove the '-v' alias for --version-and-path, to free up '-v' for more traditional uses (like --verbose)

#590: add webish t=stream-manifest

dirnode: add get_repair_cap()

dirnode.deep_traverse: fix docstring to describe the correct return value

filenode: add get_repair_cap(), which uses the read-write filecap for immutable files, and the verifycap for immutable files

setup: make the bin/tahoe executable exit with the appropriate exit code

setup: add test that the tests are testing the right source code
This is a test of #145, and I think that now the code passes this test.

trivial: removed unused imports noticed by pyflakes

setup: change test_runner to invoke "bin/tahoe" in a subprocess instead of executing runner.runner()
This is necessary because loading allmydata code now depends on PYTHONPATH manipulation which is done in the "bin/tahoe" script.  Unfortunately it makes test_runner slower since it launches and waits for many subprocesses.

setup: fix "tahoe start" to work on Windows even when a Tahoe base dir hasn't been configured in the Windows registry

docs: trivial naming change

rollback the feature of making "ambient upload authority" configurable

This reverses some, but not all, of the changes that were committed in the following set of patches.

rolling back:

Sun Jan 18 09:54:30 MST 2009  toby.murray
  * add 'web.ambient_upload_authority' as a paramater to tahoe.cfg

    M ./src/allmydata/client.py -1 +3
    M ./src/allmydata/test/common.py -7 +9
    A ./src/allmydata/test/test_ambient_upload_authority.py
    M ./src/allmydata/web/root.py +12
    M ./src/allmydata/webish.py -1 +4
Sun Jan 18 09:56:08 MST 2009  zooko@zooko.com
  * trivial: whitespace
  I ran emacs's "M-x whitespace-cleanup" on the files that Toby's recent patch had touched that had trailing whitespace on some lines.

    M ./src/allmydata/test/test_ambient_upload_authority.py -9 +8
    M ./src/allmydata/web/root.py -2 +1
    M ./src/allmydata/webish.py -2 +1
Mon Jan 19 14:16:19 MST 2009  zooko@zooko.com
  * trivial: remove unused import noticed by pyflakes

    M ./src/allmydata/test/test_ambient_upload_authority.py -1
Mon Jan 19 21:38:35 MST 2009  toby.murray
  * doc: describe web.ambient_upload_authority

    M ./docs/configuration.txt +14
    M ./docs/frontends/webapi.txt +11
Mon Jan 19 21:38:57 MST 2009  zooko@zooko.com
  * doc: add Toby Murray to the CREDITS

    M ./CREDITS +4

setup: add new bundled setuptools_trial-0.4

setup: remove old bundled setuptools_trial-0.2

setup: require darcsver always, and not just when we see the string "darcsver" in sys.argv, because the new aliases hack means that the string might not appear in sys.argv

setup: fix test_system to require tahoe under its package==distribution name "allmydata-tahoe" instead of its module name "allmydata"

setup: use setup.cfg aliases to map "setup.py test" to "setup.py trial" and "setup.py build" to "setup.py darcsver --count-all-patches build_tahoe"
Thanks to dpeterson for the suggestion.

doc: add Toby Murray to the CREDITS

doc: describe web.ambient_upload_authority

trivial: remove unused import noticed by pyflakes

setup: simplify install.html a tad

setup: refactor versions-and-paths and use pkg_resources to find them
Using pkg_resources is probably better if it works -- zope.interface doesn't have a __version__ attribute that we can query, but pkg_resources knows zope.interface's version number, for one thing.
This code falls back to the old way -- looking at the __version__ attributes and __file__ attributes -- if the pkg_resources way doesn't answer.
Note that this patch also changes the capitalization of "Nevow", "Twisted", and "pyOpenSSL", and the spelling of "allmydata-tahoe".  These changes are not frivolous: they are reflecting the fact that we are naming Python packages (technically called Python "distributions") instead of Python modules (technically and confusingly called Python "packages") here.  The package ("distribution") is named "allmydata-tahoe".  The module ("package") is named "allmydata".

setup: undo (for the second time) the use of the --multi-version feature
When this feature is turned on, then setuptools doesn't create easy-install.pth, setuptools.pth, or site.py in the target site-packages dir.  I don't know why not and we should probably open a ticket on the setuptools tracker and/or hack setuptools to create those files anyway.  But for now (for the Tahoe-1.3.0 release), we're going to leave --multi-version mode off and require users to manually uninstall any packages which are too old and thus conflict with our newer dependencies.

trivial: whitespace
Ran "M-x whitespace-cleanup" on files that Toby's recent patch touched, even though they didn't have trailing whitespace.

trivial: whitespace
I ran emacs's "M-x whitespace-cleanup" on the files that Toby's recent patch had touched that had trailing whitespace on some lines.

trivial: whitespace

add 'web.ambient_upload_authority' as a paramater to tahoe.cfg

doc: add Larry Hosken to CREDITS

run build_tahoe command with trial commmand

adding multi-version support

setup: addition of setuptools_trial egg to the base dir is boring from the point of view of revision control

prevent --site-dirs from being passed to the 'install' command

add option to show version and path to the tahoe executable

setup: put back configuration of the PYTHONPATH which is necessary to build the Windows packages

node.py: use NODEDIR/tmp for the 'tempfile' module's temporary directory, so webapi upload tempfiles are put there instead of /tmp . You can set it to something else by setting [node]tempdir in tahoe.cfg

web/operations: undo the disable-ophandle-expiration change that inadvertently got included in zooko's recent 'rename wapi.txt to webapi.txt' patch, causing test failures

cli: tests: skip symlink test if there is no os.symlink

webapi.txt: explain POST /uri/?t=upload, thanks to Toby Murray for the catch

mutable: move recent operation history management code (MutableWatcher) into history.py, have History provide stats

download: tiny cleanup of history code

upload: move upload history into History object

immutable/download.py move recent-downloads history out of Downloader and into a separate class. upload/etc will follow soon.

docs: rename wapi.txt to webapi.txt
Because Brian argues that the file contains a description of the wui as well as of the wapi, and because the name "webapi.txt" might be more obvious to the untrained eye.

setup: configure setup.cfg to point setuptools at the index.html page instead of straight at the tahoe directory listing
This is necessary, because if setuptools looks at the directory listing, then it follows the link named "More Info" in attempt to download the file, and this fails.

setup: fix previous patch to set reactor to poll reactor on linux or cygwin

setup: use poll reactor for trial if on linux2 or cygwin

docs: rename frontends/webapi.txt to frontends/wapi.txt
rename CLI.txt to frontends/CLI.txt
change a few mentions of "webapi" to "wapi"
fixes #582