Remove/clean code duplication for CLI unit tests

Fix magic-folder Persistence test

here we teach this test to create invite join
a magic-folder using the CLI... and then we go
on to fix various bugs.

Teach magic-folder tests to use CLI for creating magic folder config

Merge branch '2454.magic-folder-create-tool.2' into 1710.local-deletion-water-dragon.1

minor corrections to use of deferred from last commit

Teach magic-folder cli tests to test join results

- test if the client's dmd's readonly cap is present in the collective
readonly cap

Change return values to constants either 0 or -1

Test return vals and fix join return val

Test that join adds tahoe config options

Clean up join tahoe config append

Add complete usage functionality to create

Append magic-folder config options to tahoe.cfg

Implement most of the join command

Finish writing the invite implementation

Fix options passed to mkdir from magic invite

- here we also clean up the magic folder cli unit tests

Sleepy time WIP almost got invite's mkdir working...

Derive our own node-url, fixes magic-folder create test

Add rough create command - test FAILS still however

Add basic test for magic-folder create command

Add boiler plate for magic-folder subcommand

here we also:
- add the synopsis for the create command
- add the argument parser for the create command

Use Daira's fix to unblock CLI progress

WIP

Change behavior upon finding missing files

- Fix test test_magic_folder
- Do not throw exception for missing files...
- Check for entry in magic folder db; only write tahoe metadata
deleted=true if magic folder db entry for file exists.

Add check_file_db_exists to backupdb api

- this backupdb utility function checks to if a file's entry
exists in the db but does not stat the file on disk or otherwise
talk to the filesystem

handle local file deletion events

Rename drop-upload to Magic Folder. fixes ticket:2405
Also rename magic_folder_parent_dircap to collective_dircap.

Author: David Stainton <david@leastauthority.com>
Author: Daira Hopwood <daira@jacaranda.org>
Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Remove a debug print.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Remove unused code.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Fix test errors.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Minor code cleanup

Add private config magic_folder_parent_dircap

- this commit also updates the tests

Add parent_dircap stub argument to DropUploader. refs ticket:2441

Author: David Stainton <david@leastauthority.com>
Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add IN_MOVED_FROM to inotify mask.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Explicitly pass overwrite=True to add_file. (It is the default, but this is clearer.)

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

More fixes to drop-upload tests.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Fix drop-upload tests. refs ticket:2427

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Fix an incorrect addCallback.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

fileutil: make the error behaviour of replace_file on Unix more similar to Windows.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

fileutil.py: add rename_no_overwrite and replace_file.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

WIP debugging.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Cosmetics.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

WIP

fix more inotify test calls

Clean up test at end

this gets rid of the dirty reactor

Copy all daira code from other branch...

Test inotify with event agnostic notify

def notify(self, path, mask)
instead of
def notify_close_write(self, path)

Add sleep to test

WIP

Disable use of Unicode-mode FilePaths on non-Windows platorms. fixes ticket:2444

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Teach uploader to use flat hierarchy. refs ticket:2442

Author: David Stainton <david@leastauthority.com>
Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add Magic Folder path encoding. refs ticket:2442

Move backupdb out of scripts. fixes ticket:2408

Process directories unconditionally.
Also pass overwrite=False and suppress ExistingChildError when creating a
subdirectory, to avoid orphaning any existing directory.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

autoAdd isn't needed now that we add watches for subdirectories manually.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

WIP

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Teach uploader to keep object stats, not file stats.

We keep track of objects instead of files so that we are
not forced to determine the object type (file, directory,
symlink, special file etc.)

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add ignore count to uploaded callback.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Teach StorageFarmBroker to fire a deferred when a connection threshold is reached. refs #1449

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Enable Windows inotify support.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

New code for Windows drop-upload support. refs #1431

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Docs for drop-upload on Windows.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add magic folder db.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Unicode path fixes for drop-upload.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Make a start on the Magic Folder Objective 5 (user interface design) doc. refs ticket:2443

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Magic Folder design doc: rename "parent DMD" to "collective directory", and don't assume it is mutable.
(An immutable collective directory could be interesting for some use cases, and is no more difficult to support.)

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Remove packages from not_import_versionable that we now can always version.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add OpenSSL version check and tests. refs ticket:2215

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

remote-to-local-sync.rst: fix a minor error.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Magic Folder: add remote-to-local sync design doc.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Merge branch 'globalopts2'

Improves CLI rendering of --help for global options. Closes ticket:2233.

wrap long lines, and tolerate various-width wrappings of the --help output

test_cli.Help was too sensitive to the way that the --help output was
wrapped, which caused failures on travis when COLUMNS= was set low and
the expected strings were split across separate lines.

cli: improve formatting of all commands

Also:

* do some light refactoring of create-client/node
* make it clear that these commands' --basedir options do the same as
  the global --node-directory option
* use "global-options" instead of "global-opts"

scripts: improve rendering of synopsis/usage

Subcommands "--help" is now rendered as:

```
 tahoe [global-options] COMMAND [options] ARGS
 (use 'tahoe --help' to view global options)
 USAGE (flags/options)
 DESCRIPTION
 DESCRIPTION_UNWRAPPED
```

The new .description and .description_unwrapped fields allow
commands (subclasses of twisted.python.usage.Usage) better control over
how their explanations are rendered: the old .longdesc field was wrapped
unpleasantly.

scripts/runner.py: put command group descriptions in parens

refactor scripts/common.py: move _default_nodedir out to its own file

Merge pull request #169 from zooko/2433-dead-code-NamedTemporaryDirectory

remove dead code: NamedTemporaryDirectory

remove dead code: NamedTemporaryDirectory

fixes #2433

NEWS: update lists of tickets closed/referenced-as-not-closed

test-desert-island wasn't catching https downloads

I think the desert-island build is broken, but the automated test wasn't
catching it because of this bug.

NEWS: update with all recent changes. Still unedited.

MANIFEST.in: add some missing files so tarballs are complete

fileutil.py: use ctypes.get_last_error() instead of GetLastError(). refs #1531

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

On Windows, the user's home directory may be either %USERPROFILE% or %HOMEDRIVE%%HOMEPATH% depending on the Windows version. fixes ticket:2417

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

interfaces.py: fix arguments to create_subdirectory.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

drop-upload.py: fix error messages.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Fix a pyflakes warning.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Update copy of gen-package-table.py in source tree.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Retire the setup_requires hack in cases where it isn't needed (and can cause build problems). refs #2286

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

NEWS.rst: add dependency updates. fixes #2415

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

_auto_deps.py: update comments. refs #2416

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Allow working with Twisted >= 13 on Windows if pywin32 is manually installed. fixes #2416

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Merge pull request #165 from pataquets/add-dockerfile

Base Dockerfile initial version.

Remove .bashrc alias uncommenting.

docs/frontends/CLI.rst: clarification.
The implementation (in [source:src/allmydata/scripts/common.py]) actually tests whether there is a slash anywhere before the first colon.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

docs/frontends/CLI.rst: remove a superfluous TODO.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Base Dockerfile initial version.

Merge branch '2399-cp-mkdir'

closes ticket:2399

apply review feedback

cp: trailing slash on source filename is an error, just like on targets

tahoe cp: ignore trailing slash on source arguments

This avoids an error case where an empty child name resulted in a
duplicate mkdir. It adds a precondition check to guard against empty
child names, and some test cases. It also cleans up a funny redundancy
noticed earlier (refs ticket:2329).