TAG allmydata-tahoe-1.4.1

docs: inaugurate Tahoe-1.4.1, since I left out a handful of patches from the Tahoe-1.4.0 release

docs: add "darcs pull" to how_to_make_a_tahoe_release.txt, and renumber

TAG allmydata-tahoe-1.4.0

docs: edit relnotes.txt and promote Tahoe from filesystem to cloud storage thingie

docs: add note about pywin32 to install.html

trivial: fix comment

docs: a few edits/updates about dirnodes

docs: change install.html to point to the 1.4.0 release zip file instead of 1.3.0

docs: edit install.html regarding versions of Python

docs: some small edits to install.html

NEWS: mention that the new 'reliability' page requires numpy

docs: update relnotes.txt, NEWS for Tahoe-1.4.0 release!

tests: remove obsolete test (it tests functionality that is long gone) which occasionally ERRORs now that we have more metadata (since [20090411225205-92b7f-7adfb89cb4db4ac7d28427934dea3d2c108f6476])

trivial: remove trailing whitespace and unused import

dirnode: add 'tahoe'/'linkcrtime' and 'tahoe'/'linkmotime' to take the place of what 'mtime'/'ctime' originally did, and make the 'tahoe' subdict be unwritable through the set_children API
Also add extensive documentation in docs/frontends/webapi.txt about the behaviors of these values.  See ticket #628.

docs: webapi.txt edits to explain a few things better, adjust indentation, editing

rollback [20090226150237-b2345-1e916a746a7f4627b050f02f0e442fae5caf69d4] for 1.4.0 release; #645

setup: update comments about what versions we require of our dependencies

NEWS: finish formatting new items. Still needs proofreading and updating the release name+date

#622: disable 'Repair' button on check-results page until we make it work correctly

web: make sure that PUT /uri?mutable=false really means immutable, fixes #675

NEWS: format some (but not all) items

wui: edit some of the human-readable parts of the wui such as button labels
(The word "parent" suggests that you can go up a directory hierarchy -- perhaps that word is vestigial.)

wui: fix bug in which empty directory is marked as "unreadable", add test, remove exclamation point

NEWS: add unformatted list of code changes since previous release

docs: modify how-to-relase notes a tiny bit

hashtree.py: another micro-optimization, expand on a comment

hashtree: fix tests of depth_of

trivial: source code metadata

trivial: whitespace

hashtree: a couple of tiny improvements
 * calculate depth-first with math instead of traversing the actual tree
 * don't mark a node with a red dot if you instead compare it with an extant hash value (tiny optimization)
 * edit a comment about checking the root node

leases, time_format: modify time stamping in lease description
 * emit lease expiry date in ISO-8601'ish format as well as Brian's format
 * rename iso_utc_time_to_localseconds() to iso_utc_time_to_seconds()
 * add iso_utc_date()
 * simplify the body of iso_utc_time_to_seconds()

hashtree: fix O(N**2) behavior, to improve fatal alacrity problems in a 10GB file (#670). Also improve docstring.

docs: setup: Norm Hardy suggested that it would be easier if users realized that they already had Python (especially true for Mac users)

expirer: include crawler progress in the JSON status output

docs/proposed: new Accounting overview, discuss in #666

docs/proposed: move old accounting docs out of the way

move GC docs out of proposed/, since it's all implemented now. Add reference to configuration.txt . Add expire.*= suggestions to tahoe.cfg .

storage: use constant-time comparison for write-enablers and lease-secrets

hashutil: add constant-time comparison function, to avoid timing attacks when python's short-circuiting data-dependent == operator is used to, say, check a write-enabler

WUI: fix display of empty directories, it threw an exception before

storage webstatus: insert spaces when we're configured to expire multiple sharetypes

expirer: tolerate empty buckets, refactor bucketsize-counting code a bit, don't increment -mutable/-immutable counters unless we actually know the sharetype

storage: improve wording of status message

parse_date: insist that it returns an int

storage status: report expiration-cutoff-date like 19-Mar-2009 (as opposed to the tahoe.cfg input format of 2009-03-19), for redundancy: someone who gets the month and day switched will have a better chance to spot the problem in the storage-status output if it's in a different format

expirer: clean up constructor args, add tahoe.cfg controls, use cutoff_date instead of date_cutoff

util/time_format: new routine to parse dates like 2009-03-18, switch expirer to use it. I'd prefer to use 18-Mar-2009, but it is surprisingly non-trivial to build a parser that will take UTC dates instead of local dates

expirer: change setup, config options, in preparation for adding tahoe.cfg controls

expirer: track mutable-vs-immutable sharecounts and sizes, report them on the web status page for comparison

add utility function to parse durations, for lease-expiration config

expirer: add mode to expire only-mutable or only-immutable shares

tahoe_ls.py: add comment about error cases to improve

GC: add date-cutoff -based expiration, add proposed docs

test_deepcheck: remove the 10s timeout: our dapper buildslave requires 30s, and the reduced timeout was only there because this tests fails by timeout rather than explicitly

tahoe cp -r: add --caps-only flag, to write filecaps into local files instead of actual file contents. Used only for debugging and as a quick tree-comparison tool.

dirnode deep_traverse: insert a turn break (fireEventually) at least once every 100 files, otherwise a CHK followed by more than 158 LITs can overflow the stack, sort of like #237.

consolidate: remove pointless 'else' after for loop

consolidate: add eta, flush stdout

consolidate: tolerate unicode dirnames

dirnode.py: when doing deep-traverse, walk each directory in alphabetical order, to make things like 'manifest' more predictable

consolidator: add progress to scan-old-directory passes

consolidator: fix cycle detection to not trigger on merely shared directories, add snapshot counter to progress

consolidator: re-use more directories, add total directories seen-vs-used counts

tahoe_backup.py: tolerate more time formats

consolidator: add more verbose traversal of directories

consolidate: create multiple numbered backups of the original Archives directory, not just the first time

add 'tahoe debug consolidate' command, to merge directories created by repeated 'tahoe cp -r' or the allmydata win32 backup tool, into the form that would have been created by 'tahoe backup'.

tahoe_cp.py: return 0 for success, instead of None

setup: specify in the debian/control files that tahoe is compatible with Python 2.6

setup: update the debian/copyright text to reflect the current licences

expirer: fix prediction math, thanks to Zandr for the catch

storage.expirer: oops, fix upgrade-handler code

storage.expirer: handle upgrades better

storage.expirer: exercise the last missing line of webstatus code

expirer: tolerate corrupt shares, add them to the state and history for future examination

storage/immutable: raise a specific error upon seeing a bad version number, instead of using assert. Also wrap to 80cols.

storage: add test coverage for BucketReader.__repr__

storage/mutable: raise a specific error upon seeing bad magic, instead of using assert

nodeadmin: node stops itself if a hotline file hasn't been touched in 120 seconds now, instead of in 60 seconds
A test failed on draco (MacPPC) because it took 67.1 seconds to get around to running the test, and the node had already stopped itself when the hotline file was 60 seconds old.

expirer: make web display a bit more consistent

web/storage.py: tolerate unknown-future displays, I'm not sure why LeaseCrawler.test_unpredictable_future didn't catch this

tahoe_cp.py: improve error reporting slightly: don't json-interpret HTTP errors, pass through tahoe webapi error messages

test_cli.py: assert that 'ls' on an unrecoverable file now gives a better error message

test_web: test behavior of broken-dirnode GET, both html and json

web: when a dirnode can't be read, emit a regular HTML page but with the child-table and upload-forms replaced with an apologetic message. Make sure to include the 'get info' links so the user can do a filecheck

web/common: split out exception-to-explanation+code mapping to a separate humanize_failure() function, so it can be used by other code. Add explanation for mutable UnrecoverableFileError.

test_cli: use explicit (and stable) testdirs, instead of using self.mktemp

test_storage: solaris doesn't appear to give the same block count as other platforms, so don't assert as much about 'diskbytes' recovered

tahoe_cp.py: don't be verbose unless --verbose is passed: default is one line of success

setup.cfg: use allmydata.org as a mirror for some of our necessary dependencies

storage: add a lease-checker-and-expirer crawler, plus web status page.

This walks slowly through all shares, examining their leases, deciding which
are still valid and which have expired. Once enabled, it will then remove the
expired leases, and delete shares which no longer have any valid leases. Note
that there is not yet a tahoe.cfg option to enable lease-deletion: the
current code is read-only. A subsequent patch will add a tahoe.cfg knob to
control this, as well as docs. Some other minor items included in this patch:

 tahoe debug dump-share has a new --leases-only flag
 storage sharefile/leaseinfo code is cleaned up
 storage web status page (/storage) has more info, more tests coverage
 space-left measurement on OS-X should be more accurate (it was off by 2048x)
  (use stat .f_frsize instead of f_bsize)

setup: comment-out the use of the directory full of dependency packages on the test grid -- the test grid is too unreliable!  :-(

setup: create a "make deb-lenny-head" target
I made this patch by copying [20090305220021-92b7f-89d987c7d05306b5cb03a64f2956a652c10a7296] and changing the name from "intrepid" to "lenny".  I haven't tested it.

trivial: remove unused import detected by pyflakes, and remove trailing whitespace

setup: enable build of .debs for Ubuntu Intrepid, thanks to DarKNesS_WolF

trivial: use more specific function for ascii-encoding storage index

doc: update how_to_make_a_tahoe_release.txt

test_cli: validate non-HTML error response of 'tahoe get' on an unrecoverable file