WIP Merge branch '1710.actually-unlink-files.0' of https://github.com/meejah/tahoe-lafs into 2521.magic-db-schema.1

# Conflicts:
# src/allmydata/frontends/magic_folder.py
# src/allmydata/test/test_magic_folder.py

Test creation of a subdirectory.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Watch for IN_CREATE events but filter them out for non-directories.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Patch Downloader.REMOTE_SCAN_INTERVAL rather than setting it persistently.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Implement creating local directories in downloader.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Decode names in the scanned remote.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Refactoring to allow logging from _write_downloaded_file and _rename_conflicted_file.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Simplify and fix non-existent-file handling.
Also make the existent and non-existent cases as similar as possible,
with a view to merging them.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Logging/debugging improvements.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Refactor and fix race conditions in test_alice_bob.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Correct a call to did_upload_version in the downloader.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Make sure that test_move_tree waits until files have been uploaded as well as downloaded.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Restore a call to increment files_uploaded that was mistakenly removed.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Teach uploader+downloader to use to db schema

here we attempt to fix all the unit tests as well...
however two tests still fail

Add magicfolderdb.py.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Remove magic-folder db code from backupdb.py

WIP

Include brief summary of magic-folder CLI commands

Add link to our cli design doc

Mention gc is not part of the otf grant and link to the gc ticket

Remove old obsolete/inaccurate statements

Minor comment correction for get_all_relpaths

For all downloaded files ensure parent dir exists

Simplify the cleanup_Alice_and_Bob callback.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Make downloader delay a class-variable

This gives the integration-style CLI-based tests a chance
to set the delay to 0 before the first 3-second delayed
call is queued to _lazy_tail in the Downloader

Teach unit-tests to time-warp

1. Split alice/bob clocks to avoid races conditions
   in the tests
2. Wrap ._notify so we can advance the clock after inotify
   calls in the RealTest (since it takes >0ms to do the "real" notifies)

Merge pull request #193 from meejah/2438.magic-folder-stable.3

Fix call to ready()

Fix call to ready()

Correct a string-type error.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

WIP.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Magic Folder file moves.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Prepare to move drop_upload.py to magic_folder.py.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Move backupdb.py to src/allmydata.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Rename upload_ready_d to connected_enough_d.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Documentation changes for Magic Folder.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Teach StorageFarmBroker to fire a deferred when a connection threshold is reached. refs #1449

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Enable Windows inotify support.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

New code for Windows drop-upload support. refs #1431

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Docs for drop-upload on Windows.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add magic folder db.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Unicode path fixes for drop-upload.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

.travis.yml: pin coverage version to 3.7.1. fixes ticket:2511

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Merge branch '2510-new-foolscap'

introweb: fix connection hints for server announcements

A long time ago, the introducer's status web page would show the
advertised IP addresses for all published services, by parsing their
FURL's connection hints. This hasn't worked since about 12-Aug-2014 when
foolscap-0.6.5 changed the internal format of these hints (the column
has been empty this whole time).

This removes the "Advertised IPs" column from the Service Announcements
table. Instead, the service's full connection hints (not just the IP
address) is displayed in a tooltip/popup on the "Announced" timestamp
column.

The code that pulls these connection hints is now tolerant of all three
foolscap styles:

* foolscap<=0.6.4 : tuples of ("ipv4",host,port)
* 0.6.5 .. 0.8.0  : tuples of ("tcp",host,port)
* foolscap>=0.9.0 : strings

fixes ticket:2510

remove "announcement_distinct_hosts" from introweb JSON

The machine-parseable JSON output for the introducer status web page
used to include a key named "announcement_distinct_hosts", which counted
the number of distinct IP addresses advertised by all connected storage
servers. This hasn't worked since Aug-2014 when foolscap-0.6.5 change
the internal hints format.

This removes that field.

introducer: stop tracking hints for subscribed clients

A long time ago, the introducer's status web page would show the
advertised IP addresses for all subscribers, by parsing their
RemoteReference's FURL's connection hints. This hasn't worked since
about 12-Aug-2014 when foolscap-0.6.5 changed the internal format of
these hints.

This removes the feature: we no longer attempt to show advertised IP
addresses of subscribed clients. It also removes the code that looked
inside foolscap internals for this information.

travis: use 'git fetch' to deepen, not 'git pull'

Travis builds of branches (i.e. pull-requests) were testing the wrong
thing, because the 'git pull' was causing current trunk to be
auto-merged. At least that's what seemed to break
https://travis-ci.org/tahoe-lafs/tahoe-lafs/jobs/81517826 : it hung
forever waiting for a commit message to be entered.

Also add "sudo: false" to use travis containers (faster) instead of new
VMs. We only use pip to install dependencies, not apt, so we don't need
root.

Avoid spurious errors when an imported version is consistent with pkg_resources
but not parseable; also improve related error reporting. fixes ticket:2499

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Merge pull request #187 from tahoe-lafs/2493.cleanup-osx-packaging.1

2493.cleanup osx packaging.1

Move manpage into a heirarchical man1 path.

Author: Ramakrishnan Muthukrishnan <ram@leastauthority.com>

OS-X package: add a preinstall script and copy the manpage into /etc/manpaths.d.

The preinstall script detects previous installation and removes it.

Author: Ramakrishnan Muthukrishnan <ram@leastauthority.com>

Change some instances of "filesystem" that were missed to "file store".

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

update docs for 1.10.2 release

add a pypy that is allowed to fail

update NEWS with recent changes

quickstart: Mention python-dev package for Python.h

Closes ticket:2328.

Merge branch '2447-cp-overwrite'

test_cli_cp: minor cleanup

cp: error on target-filename collisions, rather than overwrite

Closes ticket:2447

unit test for my desired behavior

Merge branch '2436.less-scary.3'

This reverts and improves the earlier fix for ticket:2436

test_version.py: minor cleanup.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Don't show scary diagnostic warnings from --version[-and-path] (corrected). refs ticket:2436

The previous version would incorrectly add to the output of
get_package_versions_string each time it was called.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Revert "Don't show scary diagnostic warnings from --version[-and-path]"

This reverts commit 431728f8f854e02d9ab2f731675f12ce18cda122.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

mutable/retrieve.py: remove all bare assert()s

Replace them with _assert() or precondition(). Closes ticket:2462.

improve HTTP byte-range docs

webapi.rst: document Range: header on GET requests

closes ticket#2460

IReadable.read(): document out-of-range errors

closes ticket#2461

Merge branch 'sdmf-partial-2'

This cleans up the mutable-retrieve code a bit, and should fix some
corner cases where an offset/size combinations that reads the last byte
of the file (but not the first) could cause an assert to fire, making
the download hang. Should address ticket:2459 and ticket:2462.

test_mutable: more enhancements

mutable/retrieve.py: rewrite partial-read handling

This should tolerate offset/size combinations that read the last byte of
the file, something which was broken before. It quits early in the case
of zero-byte reads, to simplify the resulting "which segments do I need"
logic. Probably addresses ticket:2459.

enhance SDMF/MDMF tests: zero-length files, size=None

Add tests for SDMF partial reads. refs #2459

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Remove some bare asserts in retrieve.py (there are still quite a few left). refs #2462

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Merge pull request #176 from tahoe-lafs/2436.less-scary.0

Don't show scary diagnostic warnings from --version[-and-path] if the only problem is that extra packages are found by pkg_resources.

Minor code cleanup in __init__.py.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Don't show scary diagnostic warnings from --version[-and-path]
if the only problem is that extra packages are found by pkg_resources.
fixes ticket:2436

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Change the separator character in the Magic Folder user interface design doc from '|' to '+'.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Eliminate mock dependency.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add Namespace utility class. (This is already used in the leasedb/cloud backend branch.)

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Makefile upload-osx-pkg: mention where the packages go

Bump pyasn1 requirement to >= 0.1.8.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Blacklist mock > 1.0.1.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

test/check_load: hush (newer) pyflakes

pyflakes-0.9.2 gets confused about list comprehensions, so rename the
loop variable even though we'd deleted that name already.

test_web: avoid IP autodetection, was causing dirty reactor

docs/how-to-release: add more wiki pages to update

add test-pip-install

release checklist: use signed git tag next time

README: update copyright date

update docs for 1.10.1 release

Dockerfile: git-pull more history, to get a version string

The Docker build process seems to use 'git pull --depth=1', which
doesn't fetch enough history to see a tag, which means tahoe's setup.py
can't compute a version (then 'tahoe --version' reports "unknown").
Pulling a hundred commits should be enough to see a tag without making
the resulting image unnecessarily large. If we go more than 100 commits
between tags, we'll need to increase this, or come up with something
smarter.

Finish user-interface.rst. fixes ticket:2443

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Make a start on the Magic Folder Objective 5 (user interface design) doc. refs ticket:2443

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

NEWS.rst: fix missing link.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

NEWS.rst for 1.10.1: links, formatting and nitpicks.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

NEWS: finish 1.10.1 edits. Good enough for beta1.

NEWS: rearrange

NEWS: remove many non-user-visible items

NEWS: first editing pass

NEWS: classify changes as user-visible or not