improve relnotes

update relnotes, rotate known_issues, for 1.9

add user-oriented notes to NEWS and mutable.rst about SDMF-vs-MDMF

show-tool-versions.py: remove setuptools_trial, unused

Makefile/upload-tarballs: remove bash-ism in shell conditional

The "[" command is defined to accept "=" as an is-equal test. Bash extends
this to accept "==" too, but normal /bin/sh does not. I think this command
was developed on a box where /bin/sh is bash, but on standard ubuntu boxes,
/bin/sh is a smaller+faster non-Bash shell, and this gave "[: 1: X:
unexpected operator" errors.

update project-home URLs: /trac/tahoe/ was replaced by /trac/tahoe-lafs/

quickstart.rst: remove trailing whitespace

quickstart.rst: update the release URL in preparation for 1.9

and configuration.rst

I'm doing these one-at-a-time because I'm also debugging buildbot
problems, and it's handy to trigger builds this way.

and about.rst

update README for HTTPS too

small changes to test migrated trac and posthook

more http->https changes

tahoe-lafs.org is now HTTPS-always. Update most URLs.

undo the effects of a patch I hadn't intended to commit, named "debugprint the values of blocks and hashes thereof; make the test data and the seg size small in order to make the debugprints easy to look at"

rolling back:

Thu Sep 29 23:46:28 MDT 2011  zooko@zooko.com
  * debugprint the values of blocks and hashes thereof; make the test data and the seg size small in order to make the debugprints easy to look at

    M ./src/allmydata/mutable/publish.py -1 +2
    M ./src/allmydata/mutable/retrieve.py +3
    M ./src/allmydata/test/test_mutable.py -2 +2

debugprint the values of blocks and hashes thereof; make the test data and the seg size small in order to make the debugprints easy to look at

docs/about.rst: correct the description of availability to take into account that shares may not be stored on distinct servers.

mutable/retrieve: don't write() after we've been pauseProducer'ed

This fixes a test failure found against current Twisted trunk in
test_mutable.Filenode.test_retrieve_producer_mdmf (when it uses
PausingAndStoppingConsumer). There must be some sort of race: I could
make it fail against Twisted-11.0 if I just increased the 0.5s delay in
test_download.PausingAndStoppingConsumer to about 0.6s, and could make
Twisted-trunk pass by reducing it to about 0.3s .

I fixed the test (as opposed to the bug) by replacing the delay with a
simple reliable eventually(), and adding extra asserts to fail the test
if the consumer's write() method is called while the producer is
supposed to be paused

The bug itself was that mutable.retrieve.Retrieve wasn't checking the
"stopped" flag after resuming from a pause, and thus delivered one
segment to a consumer that wasn't expecting it. I split out
stopped-flag-checking to separate function, which is now called
immediately after _check_for_paused(). I also cleaned up some Deferred
usage and whitespace.

remove interpreter shbang lines from non-executables

thanks to Greg Troxel for the catch

TAG allmydata-tahoe-1.9.0b1

NEWS: mention --format, bring up-to-date

CLI: don't deprecate --mutable, small docs fixes. refs #1561

Also don't accept 'tahoe mkdir --format=chk'.

add --format= to 'tahoe put'/'mkdir', remove --mutable-type. Closes #1561

web/filenode.py: rely on Request.notifyFinish. Closes #1366.

This is safe now that tahoe depends upon Twisted>=10.1, since notifyFinish
first appeared in Twisted-9.0

docs: fix several imprecise or inaccurate values in performance.rst
add cpu values for each operation
sort the list of values into the same order in each operation
refs #1398

util/happinessutil.py: suppress a warning from check-miscaptures. (It is not a bug because the capturing function is only used by a 'map' in the same iteration.) refs #1556

misc/coding_tools/make-canary-files.py: fix a suspicious capture reported by check-miscaptures (although it happens not to be a bug because the callback will be processed synchronously). refs #1556

Fix some more potential bugs in test code exposed by check-miscaptures.py. refs #1556

Fix some potential bugs (in non-test code) exposed by check-miscaptures.py. refs #1556

Fix some potential bugs in test code exposed by check-miscaptures.py. refs #1556

oops, missed a test failure

misc mutable-type fixes:

* fix tahoe.cfg control of default mutable type
* tolerate arbitrary case in [client]mutable.format value
* small docs improvements
* use get_mutable_type() as a format-is-mutable predicate
* tighten up error message

webapi: use all-caps "SDMF"/"MDMF" acronyms in t=json response

docs: upcase examples of t=json output and format= input

webapi.rst: fix whitespace (detabify) t=json examples

webapi: handle format=, remove mutable-type=

* fix CLI commands (put, mkdir) to send format=, not mutable-type=
* fix tests
* test_cli: fix tests that observe t=json output, don't ignore failures in
  'tahoe put'
* fix handling of version= to make it easier to use the default
* interpret ?mutable=true&format=MDMF as MDMF, not SDMF

docs/frontends/webapi.rst: document the format argument

Tests for ref #1547

Change the file upload forms on directory and welcome pages to use a 3-way radio button to select immutable, SDMF, or MDMF. Add '(experimental)' to the label for creating an MDMF directory. Also improve the spacing of form elements. refs #1547

test_web.py: minor cleanups, mainly to make the first argument to shouldFail tests consistent

Tests for ref #1552

misc/check-interfaces.py: print a warning if a .pyc or .pyo file exists without a corresponding .py file.

test/common.py: in shouldFail and shouldHTTPError, when the raised exception does not include the expected substring (or, for shouldHTTPError, when the status code is wrong), mention which test that happened in.

interfaces.py: remove get_extension_params and set_extension_params methods from IMutableFileURI. refs #393, #1526

interfaces.py: fix a typo in the name of IMutableSlotWriter.put_encprivkey. refs #393

misc/simulators/hashbasedsig.py: simplify by removing unnecessary local function that captured a variable declared in a for loop (this was not a bug, but the code was unclear). Also fix a pyflakes warning about an import. refs #1556

immutable/literal.py: add pauseProducing method to LiteralProducer. refs #1537

no_network.py: Clean up whitespace around code changed by previous patch.

no_network.py: Fix potential bugs in some tests due to capture of slots in for loops.

docs: fix the rst formatting of COPYING.TGPPL.rst
Now it renders correctly both on trac and with rst2html --verbose from docutils v0.8.1.

MDMF: remove extension fields from caps, tolerate arbitrary ones. Fixes #1526

The filecaps used to be produced with hints for 'k' and segsize, but they
weren't actually used, and doing so had the potential to limit how we change
those filecaps in the future. Also the parsing code had some problems dealing
with other numbers of extensions. Removing the existing fields and making the
parser tolerate (and ignore) extra ones makes MDMF more future-proof.

test/test_runner.py: BinTahoe.test_path has rare nondeterministic failures; this patch probably fixes a problem where the actual cause of failure is masked by a string conversion error.

docs/configuration.rst: add section about the types of node, and clarify when setting web.port enables web-API service. fixes #1444

TAG allmydata-tahoe-1.9.0a2

NEWS: tidy up a little bit, reprioritize some items, hide some non-user-visible items

docs: fix some broken .rst links. refs #1542

mutable/publish.py: fix an unused import. refs #1542

NEWS: fix .rst formatting.

NEWS: updates for 1.9alpha2.

mutable/layout.py: make unpack_sdmf_checkstring and unpack_mdmf_checkstring more similar, and change an assert to give a more useful message if it fails. refs #1540

mutable/publish: handle unknown mutable share formats when handling errors

mutable/layout: break unpack_checkstring into unpack_mdmf_checkstring and unpack_sdmf_checkstring, add distinguisher function for checkstrings

test/test_mutable: reenable mdmf publish surprise test

mutable/publish: use unpack_mdmf_checkstring and unpack_sdmf_checkstring instead of unpack_checkstring. fixes #1540

misc/coding_tools/check_interfaces.py: report all violations rather than only one for a given class, by including a forked version of verifyClass. refs #1474

misc/coding_tools/check_interfaces.py: use os.walk instead of FilePath, since this script shouldn't really depend on Twisted. refs #1474

misc/coding_tools/check-interfaces.py: reduce false-positives by adding Dummy* to the set of excluded classnames, and bench-* to the set of excluded basenames. refs #1474

Add a script 'misc/coding_tools/check-interfaces.py' that checks whether zope interfaces are enforced. Also add 'check-interfaces', 'version-and-path', and 'code-checks' targets to the Makefile. fixes #1474

mutable/publish.py: copy the self.writers dict before iterating over it, since we remove elements from it during the iteration. refs #393

mutable/publish.py: simplify by refactoring self.outstanding to self.num_outstanding. refs #393

test_mutable.py: update SkipTest message for test_publish_surprise_mdmf to reference the right ticket number. refs #1540.

control.py: unbreak speed-test: overwrite() wants a MutableData, not str

Really, all the upload/modify APIs should take a string or a filehandle, and
internally wrap it as needed. Callers should not need to be aware of
Uploadable() or MutableData() classes.

test_mutable.py: skip test_publish_surprise_mdmf, which is causing an error. refs #1534, #393

test/test_mutable: write publish surprise test for MDMF, rename existing test_publish_surprise to clarify that it is for SDMF

test/test_mutable: refactor publish surprise test into common test fixture, rewrite test_publish_surprise to use test fixture

mutable/publish: add errback immediately after write, don't consume errors from other parts of the publisher

.darcs-boringfile: minor cleanups.

uri.py: fix two interface violations in verifier URI classes. refs #1474

Make platform-detection code tolerate linux-3.0, patch by zooko.

Otherwise address-autodetection can't find ifconfig. refs #1536

test_web.py: fix a bug in _count_leases that was causing us to check only the lease count of one share file, not of all share files as intended.

docs: insert a newline at the beginning of known_issues.rst to see if this makes it render more nicely in trac

docs: remove the coding: utf-8 declaration at the to of known_issues.rst, since the trac rendering doesn't hide it

docs: more cleanup of known_issues.rst -- now it passes "rst2html --verbose" without comment

docs: more formatting improvements to known_issues.rst

docs: reformatting of known_issues.rst

docs: fix formatting error in docs/known_issues.rst

merge Tahoe-LAFS v1.8.3 release announcement with trunk

docs: release notes for Tahoe-LAFS v1.8.3

tests: bump up the timeout in this test that fails on FreeStorm's CentOS in order to see if it is just very slow

interfaces: document that the 'fills-holes-with-zero-bytes' key should be used to detect whether a storage server has that behavior. refs #1528

CREDITS: more CREDITS for Kevan and David-Sarah

merge NEWS about the mutable file bounds fixes with NEWS about work-in-progress

doc: add NEWS item about fixes to potential palimpsest issues in mutable files
ref. #1528

merge the NEWS about the security fix (#1528) with the work-in-progress NEWS

doc: add NEWS entry about the issue which allows unauthorized deletion of shares
ref. #1528

doc: add entry in known_issues.rst about the issue which allows unauthorized deletion of shares
ref. #1528

storage: more paranoid handling of bounds and palimpsests in mutable share files
* storage server ignores requests to extend shares by sending a new_length
* storage server fills exposed holes (created by sending a write vector whose offset begins after the end of the current data) with 0 to avoid "palimpsest" exposure of previous contents
* storage server zeroes out lease info at the old location when moving it to a new location
ref. #1528

storage: test that the storage server ignores requests to extend shares by sending a new_length, and that the storage server fills exposed holes with 0 to avoid "palimpsest" exposure of previous contents
ref. #1528

immutable: prevent clients from reading past the end of share data, which would allow them to learn the cancellation secret
Declare explicitly that we prevent this problem in the server's version dict.
fixes #1528 (there are two patches that are each a sufficient fix to #1528 and this is one of them)

storage: remove the storage server's "remote_cancel_lease" function
We're removing this function because it is currently unused, because it is dangerous, and because the bug described in #1528 leaks the cancellation secret, which allows anyone who knows a file's storage index to abuse this function to delete shares of that file.
fixes #1528 (there are two patches that are each a sufficient fix to #1528 and this is one of them)

storage: test that the storage server does *not* have a "remote_cancel_lease" function
We're removing this function because it is currently unused, because it is dangerous, and because the bug described in #1528 leaks the cancellation secret, which allows anyone who knows a file's storage index to abuse this function to delete shares of that file.
ref. #1528