Add move empty dir tree test and minor test cleanup

Remove code duplication from uploader unit tests

Don't increment disappeared stats twice

Teach uploader to monitor subdirectories

Teach uploader to keep object stats not file stats

- we keep track of objects instead of files so that we are not
forced to determine the object type (file, directory, symlink, special file etc.)

Remove filepath from pending set earlier

Fix test_create_drop_uploader

This test must use the correct function signature for it's mock function...
obviously. =-p

Teach upload deque to be sequential and asynchronous

Teach uploade deque append to not block (potentially?)

Simplify upload queue API

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Make the unit tests work for Mock and Real

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add very basic unit tests for dir scan and db

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Scan dir when service starts

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Bug fix: don't append filepath to upload deque twice

Bug fix: deque must be unbounded

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Fix pending upload bug

- remove filepath from pending upload set BEFORE performing upload
This bug was introduced at commit 87657eb382da05039cce99862691efcc27243193

Disable a test that breaks on Windows.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

WIP: workaround for duplicate events on Windows. refs #2220

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Windows support for drop-upload. fixes #1431

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Docs for drop-upload on Windows.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

DropUploader.startService returns a deferred; don't drop it.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Use explicit deque to create expected upload "queue" functionality.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Teach StorageFarmBroker to fire a deferred when a connection threshold is reached. refs #1449

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Make the unit tests work for Mock and Real

Add very basic unit tests for dir scan and db

Scan dir when service starts

the add file to queue function currently does nothing...

WIP - add some backup db code fragments

Bump zetuptoolz version (move directory).

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Bump zetuptoolz version (file changes).

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

zetuptoolz: tolerate a single string for __requires__, and improve error reporting. fixes ticket:2242

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Change foolscap dependency to >= 0.8.0. refs #2400

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

CREDITS: add my GPG key

Fix a test that was dependent on Windows path separators.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Reduce differences between Windows and non-Windows dependencies.
This also fixes some warnings on Windows when using Twisted 12.1.0.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

fix check-memory test, with new new (safe) control-port methods

Ensure the 'base' argument to abspath_expanduser_unicode takes effect on Windows. fixes #2398

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

finish removing control-port upload/download functions

remove control-port upload/download file interfaces

FURLs are unguessable, but an attacker who somehow learned this FURL
could overwrite files and read sensitive data.

This will break the memory tests. I will add a new interface to support
the memory tests soon.

refs ticket:1737

backupdb.py: cosmetics

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Make backupdb use dbutil.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add util/dbutil.py: open/create/update sqlite databases given some schema.

Author: Brian Warner <warner@lothar.com>
Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Some useful Deferred utilities, originally from the cloud backend branch.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Merge pull request #152 from vu3rdd/182-osx-packaging-7

strip the single quotes around $VERSION

strip the single quotes around $VERSION

Without stripping the single quotes, the generated pagkage filename
also has the undesired single quotes around the version string.
(eg: tahoe-lafs-'1.10.0.post309'-osx.pkg).

README.rst: change description to the new wording on tahoe-lafs.org (with "file store" instead of "filesystem").

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add discussion and rejection of Change Journals.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add link to otf-magic-folder-objective ticket query.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Copyediting.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Collaborative design from Daira and David.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Merge branch 'ftp-2394'

closes ticket:2394

typo

bump Twisted dep to 11.1.0, thus simplify IntishPermissions

test_ftp: fix comparison against integer

Fix ftp 'ls' to work with current Twisted-15.0.0

refs ticket:2394

It's kind of a hack, but Twisted changed the API and I couldn't find a
cleaner way to detect which form of "permissions" value the Twisted FTP
server wants.

I've manually tested it against 14.0.2 and 15.0.0.

Merge pull request #149 from warner/mutable-2034

use more servers for test_mutable.Update, to test #2034 properly

use more servers for test_mutable.Update, to test #2034 properly

Add a test, add missing imports. refs #2388

This tests ftpd, but not sftpd. Doing this sort of test on sftpd
requires the creation of a valid pubkey/privkey file pair, which is more
work than I want to do right now.

init_ftp/init_sftp were changed to interpret the configured
accounts.file as relative to the node's basedir, with
abspath_expanduser_unicode(accountfile, base=self.basedir).
This would happen naturally in a real node, since it os.chdir()s
to the basedir before doing anything. But tests don't do that.

Author: Brian Warner <warner@lothar.com>
Author: Daira Hopwood <daira@jacaranda.org>
Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Ensure that path parameters to SFTPServer and FTPServer constructors are unicode. refs #2388

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add from_utf8_or_none and tests.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Fix a missing import in test-osx-pkg.py. refs #2393

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

More careful quoting in build-osx-pkg.sh. refs #2393

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Move computation of Tahoe version from Makefile to build-osx-pkg.sh. refs #2393

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Merge pull request #146 from warner/versioned-osx-pkg

put a version string in the name of the OS-X .pkg file

create/test/upload tahoe-lafs-VERSION-osx.pkg, not tahoe-lafs-osx.pkg

Closes ticket:2393

move build-osx-pkg out to a separate shell script

Also remove the duplicate test-osx-pkg (i.e. don't run the test as part
of the build, and have the caller do it themselves later).

Makefile: add upload-osx-pkg rule

check_memory.py: announce 32-bit vs 64-bit

Merge branch '2329-2': fix "tahoe cp -r" exception

test_cli_cp.py: hush pyflakes

tahoe_cp: be consistent with "source.basename() is None" testing

tahoe_cp: minor cleanups, no behavior changes

tahoe_cp: make populate(recurse=) more explicit

test_cli_cp: test cleanups

* remove redundant test cases
* add more internal asserts
* clean up set usage

test_cli_cp: improve test cases

improve error message for slash-terminated non-directories

test_cli_cp.py: turn off debug mode, tests now assert for real

tahoe cp: overhaul target assignment, update tests

This substantially changes the internals of "tahoe cp", to behave in
accordance with the scheme developed in ticket:2329. test_cli_cp.py got
a large new test to exercise all the various combinations. This also
changes the set of error messages that "tahoe cp" can produce.

This modifies try_copy(), inserts a new implementation of
copy_things_to_directory() (and supporting methods), and fixes a few
bugs elsewhere.

fixes ticket:2329

tahoe_cp: delete copy_to_directory() code

This code will be replaced in the next commit with an entirely different
approach, and modifying it in a single commit would yield a completely
unreadable diff.

tahoe_cp: simplify some checks, rename some functions

no behavioral changes

.travis.yml: emove 'sudo: false' as requested by https://github.com/travis-ci/travis-ci/issues/2389#issuecomment-76202191

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

NEWS.rst: add partial list of changes

zetuptoolz: print out more context in case of parse_requirements error

tahoe_cp.py: use s.basename() instead of tracking it separately

tahoe_cp.py: store basename in the Source instance

test_cli.py: split the largest test classes out into separate files

That file was getting unruly. No behavioral changes, apart from tests
now having different names.

Discourage future readers of iputil.py from using Win32 APIs in preference to route.exe.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

It is Twisted 12.2.0 that starts depending on pywin32 for endpoints, not Twisted 12.3.0.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Explicitly using "git.cmd" on Windows doesn't always work; use shell=True on Windows instead.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Merge pull request #142 from tahoe-lafs/754.location-AUTO.2

Allow combining autodetected and statically configured locations

Documentation change for AUTO in tub.location. refs #754

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Allow multiple occurrences of AUTO. refs #754

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add tests for combining autodetected and statically configured locations. refs #754

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

test_node.py: refactor test_location* to reduce code duplication. refs #754

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Only get the local addresses if they are actually used. refs #754

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Allow combining autodetected and statically configured locations. fixes #754
Replaces the location 'AUTO' with the autodetected IP/port combination.

Author: Chris Kerr <debdepba@dasganma.tk>
Signed-off-by: Daira Hopwood <daira@jacaranda.org>

.travis.yml: add "sudo: false" option, to attempt to resolve "Connection reset by peer" problems during build.
See https://github.com/travis-ci/travis-ci/issues/2389 .

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Fix warnings due to bitrot in MANIFEST.in. closes #2380

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Test the quotemarks=True and quotemarks=False options of quote_local_unicode_path.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Test the quotemarks=False option of encodingutil.quote_path.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Further refine error handling in windows_getenv to correctly handle zero-length environment values. refs #1674

Signed-off-by: Daira Hopwood <daira@jacaranda.org>