webapi 'move'-button cleanups

test_web.py: use shouldFail2(), safer than old shouldFail()
directory.py: forbid slashes in from_name=, return BAD_REQUEST instead of
              GONE when trying to move into a non-directory

Add unit test for moving a directory

My gut tells me this case sould be tested. The rename suite tests it, so
move's will too.

Change the arbitrary URI support from implied to explicit

The move webapi function now takes a target_type argument which lets it
know whether the target is a subdirectory name or URI. This is an
improvement over the old system in which the move handler tried to guess
whether the target was a name or a URI. Also fixed a little docs
copypaste problem and tweaked some line wrapping.

Adding 'move' button to web UI, closes #1579

This adds "move file" capability to the web UI's directory display. The
support and test framework is heavily based on the similar "rename file"
feature. Unit tests and documentation are included. Multiple in-progress
versions of this patch may be found in ticket 1579. This version
includes arbitrary URI target support and is compatible with the change
from tahoe_css to tahoe.css.

CREDITS: lebek

Make sure that foolscap.logging.log.setLogDir is called with a str (not unicode) path, v2. Includes test. fixes #1725

introweb announcements: show serverid, not tubid

'serverid' is the pubkey (for V2 clients), falling back to the tubid (for V1
clients). This also required cleaning up the way the index is created for the
old V1 introducer.

Fix introweb display for mixed V1/V2 clients. Closes #1721.

This significantly cleans up the IntroducerServer web-status renderers.
Instead of poking around in the introducer's internals, now the web-status
renderers get clean AnnouncementDescriptor and SubscriberDescriptor
objects. They are still somewhat foolscap-centric, but will provide a clean
abstraction boundary for future improvements.

The specific #1721 bug was that old (V1) subscribers were handled by
wrapping their RemoteReference in a special WrapV1SubscriberInV2Interface
object, but the web-status display was trying to peek inside the object to
learn what host+port it was associated with, and the wrapper did not proxy
those extra attributes.

A test was added to test_introducer to make sure the introweb page renders
properly and at least contains the nicknames of both the V1 and V2 clients.

Updated webapi.rst to list /cap as a synonym for /uri

Adding jg71 to CREDITS

Fix for ticket #1662

docs/frontends/drop-upload.rst: document more known issues and link to new ticket for an existing one.

Change capitalization of WUI and introducer welcome page headings; add test for introducer welcome page. Also fix a typo in a CSS class name. fixes #1708

test/common.py: remove ununsed 'is_bad' mechanism

This was a premature feature addition to the mock filenode, and gets in the
way of the IServer refactoring I'm trying to do. Best to remove it now and
re-introduce it in a better form later when it's actually needed.

checker.py: minor simplifications

make IServer instances retain identity in copy() and deepcopy()

move IServer from storage_client.py to interfaces.py

Rename web CheckResults to -Renderer, to avoid confusion. Closes #1705.

This avoids the name collision between the actual results
objects (defined in allmydata.check_results) and the code that renders
these objects into HTML (defined in allmydata.web.check_results). Only
the web-side objects were renamed.

webapi.rst: de-tabify

servermap.py: oops, fix _done() condition, good catch by davidsarah

doc: cross-link known_issues.rst and cautions.rst with one another

docs: FTP-and-SFTP.rst: recommend SFTP

Add an explicit recommendation of SFTP over FTP. Separate the known issues of
FTP from SFTP. List "SFTP" first in all lists of the two. Use unicode bullet
points and prepend a utf-8 BOM. Use out-of-line rst hyperlinks.

interfaces.py: ensure that NoSuchChildError can be converted to str even when it is for a non-ASCII name. fixes #1483

misc/build_helpers/show-tool-versions.py: s/print_stderr/print_stdout/

bin/tahoe-script.template: fix the error message that is displayed when a runner script cannot be found. fixes #1488

docs: quickstart: edits

• use out-of-line links to avoid a warning from rst2html --verbose (fixes #1704)
• reflow to 77 fill-column and prepend utf-8 BOM (fixes #1703)
• recommend Python 2.7 (fixes #1702)
• remove link to wiki:AdvancedInstall (fixes #1701)

Spelling error in a comment.

test_node.py: test that we tolerate a UTF-8 BOM at the start of tahoe.cfg, and can read UTF-8 option values. refs #1470

node.py: tolerate a UTF-8 BOM at the start of tahoe.cfg. fixes #1470

mutable/layout.py: improve confusing documentation of layout. fixes #1534

setup: show-tool-versions: report cl only on windows, report buildslave, git, openssl, and lzip, but not 7za

Document PYTHONPATH problem when running flogtool. refs #1693

Mutable repair: use new MODE_REPAIR to query all servers *and* get privkey

This fixes bug #1689. Repair was using MODE_READ to build the servermap,
which doesn't try hard enough to grab the privkey, and also doesn't guarantee
sending queries to all servers. This patch adds a new MODE_REPAIR which does
both, and does a separate, distinct mapupdate to start wth repair cycle,
instead of relying upon the (MODE_CHECK) mapupdate leftover from the
filecheck that triggered the repair.

Add test for bug #1689: repairing empty file hits no-privkey assertion

FTP-and-SFTP.rst: there were two more instances of 'rootcap'. Also made the wording tweak from ticket:1487#comment:4 . fixes #1487

test_ftp.py: fix a couple of unused imports. refs #1668

FTP-and-SFTP.rst: directories containing mutable files should now be listable via FTP. refs #680

ftpd file `size' attribute must be an integer

unit test for ftpd LIST

fix ftpd mtime retrieval

test_introducer.SystemTest: fix race condition

SystemTest has a couple of different phases, separated by a poller which
waits for everything to be idle (all messages delivered, none in flight). It
does this by watching some internal "_debug_outstanding" counters in the
server and in each client, and waiting for them to hit zero.

Just before the last phase, we replace the server with a new one (to make
sure clients re-send their messages properly). Unfortunately, the polling
function closed over the variable holding the original server, and didn't see
the replacement. It kept polling the old server, and failed to notice the
outstanding messages for the new server. The last phase of the test (check3)
was started too early, which failed (since some messages had not yet been
delivered), and then exploded in a flurry of dirty-reactor errors (because
some messages were delivered after test shutdown).

This replaces the closed-over-variable with a "self.the_introducer", which
seems to fix the race.

One additional place to look at in the future: the client
announcement-receive path (remote_announce) uses an eventually(). If the
message has been received and the eventual-send posted (but not yet executed)
when the poller sees it, the poller might erroneously conclude that the
client is idle and cause the same problem as above. To fix this, the poller
(probably all pollers) could be enhanced to do a flushEventualQueue before
querying the are-we-done-yet predicate function.

Cosmetic formatting in docs.

Put SFTP before FTP in various docs. fixes #1692

Correct a link to frontends/drop-upload.rst. fixes #1690

Fix mutable status (mapupdate/retrieve/publish) to use serverids, not tubids

This still leaves immutable-publish results incorrectly using tubids instead
of serverids. That will need some more work, since it might change the Helper
interface.

IServer.get_name(): remove v0- prefix from displayed server names

Don't remove the prefix if it isn't there: that avoids the need to fix tests
which use a bogus key (usually all-zeros).

Fix a missing comma in the last patch. refs #1295

Temporarily suppress the DeprecationWarning about IFinishableConsumer; it's irritating, but not in a way that is likely to make me fix the underlying issue (#1525) any sooner :-). refs #1295

minor: hush pyflakes, move pycryptopp dep to unconditional section

Also change Makefile's "pyflakes" rule to emit less output, so buildbot will
count errors properly.

Update find_links URLs in setup.cfg to https://tahoe-lafs.org. This is not just a doc change; look out for compatibility problems.

Minor updates to URLs.

Update more links from http: to https: in documentation and comments.

new introducer: signed extensible dictionary-based messages! refs #466

This introduces new client and server halves to the Introducer (renaming the
old one with a _V1 suffix). Both have fallbacks to accomodate talking to a
different version: the publishing client switches on whether the server's
.get_version() advertises V2 support, the server switches on which
subscription method was invoked by the subscribing client.

The V2 protocol sends a three-tuple of (serialized announcement dictionary,
signature, pubkey) for each announcement. The V2 server dispatches messages
to subscribers according to the service-name, and throws errors for invalid
signatures, but does not otherwise examine the messages. The V2 receiver's
subscription callback will receive a (serverid, ann_dict) pair. The
'serverid' will be equal to the pubkey if all of the following are true:

  the originating client is V2, and was told a privkey to use
  the announcement went through a V2 server
  the signature is valid

If not, 'serverid' will be equal to the tubid portion of the announced FURL,
as was the case for V1 receivers.

Servers will create a keypair if one does not exist yet, stored in
private/server.privkey .

The signed announcement dictionary puts the server FURL in a key named
"anonymous-storage-FURL", which anticipates upcoming Accounting-related
changes in the server advertisements. It also provides a key named
"permutation-seed-base32" to tell clients what permutation seed to use. This
is computed at startup, using tubid if there are existing shares, otherwise
the pubkey, to retain share-order compatibility for existing servers.

'tahoe admin generate-keypair/derive-pubkey': add Ed25519 keypair commands

Also add parse_privkey/parse_pubkey tools to util.keyutil

bump pycryptopp dependency to >=0.6.0, to get ed25519 signatures

This is for the upcoming #466 signed-introducer code.

Update copyright notices. refs #1686

Make the link on the Welcome page to 'https://tahoe-lafs.org/', not 'http:'. Includes a test. fixes #1682

Update various references to allmydata.org or tahoe-lafs.org in comments, to https://tahoe-lafs.org. refs #1682

Suppress a warning from win32eventreactor on Windows (patch v2). fixes #1681

Add nickname/nodeid to storage-status web page. Closes #1204.

Also add tahoe.css to the page, to make it look slightly prettier.

add some quick tests of the introducer/web improvements

introducer web page: add CSS styling, roughly match client Welcome page

Also add /static and the top-level /tahoe.css -type stuff to the introducer's
web server.

tahoe.css: fix #section typo, update welcome.xhtml to match

The "#section" declaration (which matches id="section") should have been
".section" (which matches class="section").

The welcome page has a feature that I actually liked: the little "This
Client" sidebar sits just to the right of the start of the Controls block.
Fixing .section broke that (the clear:both introduces a gap, forcing the
Controls block to start strictly below the bottom of the This Client block).
So I also removed class="section" from the Controls block to allow them to
share the horizontal space again.

make provisioning/reliability work in the new location, fix tests

remove 'provisioning'/'reliability' from WUI, add to misc/operations_helpers

Also remove docs related to reliability/provisioning pages

provisioning.py: update disk sizes and usage numbers

configuration.rst: another attempt to fix formatting of sample tahoe.cfg.

configuration.rst: remove the obsolete sizelimit option from the sample tahoe.cfg. Also fix the RST formatting of blank lines in the file.

Add a Python 3 blocker to setup.py, to display a better error message when it is run under Python 3.

Ensure that verification proceeds and stops when appropriate.

The removed assertions are appropriate for a download that seeks to
return plaintext to a caller; if we don't have at least k active remote
shares, then we can't hope to do that. They're not appropriate for a
verification operation; a user can try to verify a file that has fewer
than k shares available, so that shouldn't be treated as an error.
Instead, we proceed with fewer than k shares, and ensure that we
terminate the download if we have no shares at all and we're verifying.

Add test_verify_mdmf_all_bad_sharedata

test_verify_mdmf_all_bad_sharedata tests for the regression described
in ticket 1648. In particular, it will trigger the misplaced assertion
in the share activation code. It also tests to make sure that
verification continues with fewer than k shares.

Added clarification on how interface= works

FTP-and-SFTP.rst: minor edits

Updated accounts.url directive per warner's suggestions

Added information on accounts.url directive

docs: an extra newline to separate utf-8 BOF from comment for the sake of trac's rst renderer

docs: a newline between the utf-8 BOF and the comment in order to prevent trac from misrendering the comment
sheesh

docs: a comment to inform the (human) reader about encoding and to prevent someone from moving the title up to where it will interact with the utf-8 BOM and cause trac to mis-render the title

docs: insert another newline between utf-8 BOF and title

docs: insert newline after utf-8 BOF and before restructuredtext title

docs: remove utf-8 "BOM" which confuses trac's rst renderer

docs: try again to change RestructuredText titles to a format that trac will render

docs: backdoors.rst: fix title formatting

docs: backdoors.rst: stop using embedded URIs and tweak title so that trac will render it correctly; reflow to fill-column 77; M-x whitespace-cleanup

update release process: git, not darcs, etc

prepare to Org-ify how_to_make_a_tahoe-lafs_release: rename the file

.gitignore: ignore generated test-coverage files too

merge relnotes, quickstart.rst from 1.9.1 release

retrieve.py: unconditionally check share-hash-tree. Fixes #1654.

Add Kevan's unit test, update known_issues.rst

.gitignore: also ignore tahoe-deps and .tgz, to fix 'make tarballs'

Otherwise, the get-version-from-git code thinks the tree is dirty, and
creates SUMO tarballs with -dirty in the name.

Makefile: fix 'make-version' to use git-or-darcs, not just darcs

_auto_deps.py: don't allow pycrypto 2.0.1. fixes #1631

MANIFEST.in: make git-based 'setup.py sdist' match darcs

Previously, tarballs generated from a git tree were lacking a lot of
important non-code files, like docs/

restore .gitignore, stop .darcs-boringfile it

remove setuptools_darcs.egg

fix bundled data under git, remove setuptools_darcs

This uses explicitly enumerated packages= and package_data= arguments to
setup(), rather than relying upon the convenient (but darcs-specific)
functions which would determine these values by asking the revision-control
system.

Note that darcsver is still used, when building from a darcs tree.

mutable/retrieve.py: clean up control flow to avoid dropping errors

* replace DeferredList with gatherResults, simplify result handling
* use BadShareError to signal recoverable problems in either fetch or
  validate, catch after _validate_block
* _validate_block is thus not responsible for noticing fetch problems
* rename _validation_or_decoding_failed() to _handle_bad_share()
* _get_needed_hashes() returns two Deferreds, instead of a hard-to-unpack
  DeferredList

mutable/layout.py: raise BadShareError instead of assert()

mutable: don't tell server about corruption unless it's really CorruptShareError

mutable: simplify Retrieve._process_segment() to use a gatherDeferred