WIP - add some backup db code fragments

Add discussion and rejection of Change Journals.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add link to otf-magic-folder-objective ticket query.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Copyediting.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Collaborative design from Daira and David.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Merge branch 'ftp-2394'

closes ticket:2394

typo

bump Twisted dep to 11.1.0, thus simplify IntishPermissions

test_ftp: fix comparison against integer

Fix ftp 'ls' to work with current Twisted-15.0.0

refs ticket:2394

It's kind of a hack, but Twisted changed the API and I couldn't find a
cleaner way to detect which form of "permissions" value the Twisted FTP
server wants.

I've manually tested it against 14.0.2 and 15.0.0.

Merge pull request #149 from warner/mutable-2034

use more servers for test_mutable.Update, to test #2034 properly

use more servers for test_mutable.Update, to test #2034 properly

Add a test, add missing imports. refs #2388

This tests ftpd, but not sftpd. Doing this sort of test on sftpd
requires the creation of a valid pubkey/privkey file pair, which is more
work than I want to do right now.

init_ftp/init_sftp were changed to interpret the configured
accounts.file as relative to the node's basedir, with
abspath_expanduser_unicode(accountfile, base=self.basedir).
This would happen naturally in a real node, since it os.chdir()s
to the basedir before doing anything. But tests don't do that.

Author: Brian Warner <warner@lothar.com>
Author: Daira Hopwood <daira@jacaranda.org>
Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Ensure that path parameters to SFTPServer and FTPServer constructors are unicode. refs #2388

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add from_utf8_or_none and tests.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Fix a missing import in test-osx-pkg.py. refs #2393

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

More careful quoting in build-osx-pkg.sh. refs #2393

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Move computation of Tahoe version from Makefile to build-osx-pkg.sh. refs #2393

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Merge pull request #146 from warner/versioned-osx-pkg

put a version string in the name of the OS-X .pkg file

create/test/upload tahoe-lafs-VERSION-osx.pkg, not tahoe-lafs-osx.pkg

Closes ticket:2393

move build-osx-pkg out to a separate shell script

Also remove the duplicate test-osx-pkg (i.e. don't run the test as part
of the build, and have the caller do it themselves later).

Makefile: add upload-osx-pkg rule

check_memory.py: announce 32-bit vs 64-bit

Merge branch '2329-2': fix "tahoe cp -r" exception

test_cli_cp.py: hush pyflakes

tahoe_cp: be consistent with "source.basename() is None" testing

tahoe_cp: minor cleanups, no behavior changes

tahoe_cp: make populate(recurse=) more explicit

test_cli_cp: test cleanups

* remove redundant test cases
* add more internal asserts
* clean up set usage

test_cli_cp: improve test cases

improve error message for slash-terminated non-directories

test_cli_cp.py: turn off debug mode, tests now assert for real

tahoe cp: overhaul target assignment, update tests

This substantially changes the internals of "tahoe cp", to behave in
accordance with the scheme developed in ticket:2329. test_cli_cp.py got
a large new test to exercise all the various combinations. This also
changes the set of error messages that "tahoe cp" can produce.

This modifies try_copy(), inserts a new implementation of
copy_things_to_directory() (and supporting methods), and fixes a few
bugs elsewhere.

fixes ticket:2329

tahoe_cp: delete copy_to_directory() code

This code will be replaced in the next commit with an entirely different
approach, and modifying it in a single commit would yield a completely
unreadable diff.

tahoe_cp: simplify some checks, rename some functions

no behavioral changes

.travis.yml: emove 'sudo: false' as requested by https://github.com/travis-ci/travis-ci/issues/2389#issuecomment-76202191

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

NEWS.rst: add partial list of changes

zetuptoolz: print out more context in case of parse_requirements error

tahoe_cp.py: use s.basename() instead of tracking it separately

tahoe_cp.py: store basename in the Source instance

test_cli.py: split the largest test classes out into separate files

That file was getting unruly. No behavioral changes, apart from tests
now having different names.

Discourage future readers of iputil.py from using Win32 APIs in preference to route.exe.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

It is Twisted 12.2.0 that starts depending on pywin32 for endpoints, not Twisted 12.3.0.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Explicitly using "git.cmd" on Windows doesn't always work; use shell=True on Windows instead.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Merge pull request #142 from tahoe-lafs/754.location-AUTO.2

Allow combining autodetected and statically configured locations

Documentation change for AUTO in tub.location. refs #754

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Allow multiple occurrences of AUTO. refs #754

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add tests for combining autodetected and statically configured locations. refs #754

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

test_node.py: refactor test_location* to reduce code duplication. refs #754

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Only get the local addresses if they are actually used. refs #754

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Allow combining autodetected and statically configured locations. fixes #754
Replaces the location 'AUTO' with the autodetected IP/port combination.

Author: Chris Kerr <debdepba@dasganma.tk>
Signed-off-by: Daira Hopwood <daira@jacaranda.org>

.travis.yml: add "sudo: false" option, to attempt to resolve "Connection reset by peer" problems during build.
See https://github.com/travis-ci/travis-ci/issues/2389 .

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Fix warnings due to bitrot in MANIFEST.in. closes #2380

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Test the quotemarks=True and quotemarks=False options of quote_local_unicode_path.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Test the quotemarks=False option of encodingutil.quote_path.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Further refine error handling in windows_getenv to correctly handle zero-length environment values. refs #1674

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

remove stray trailing whitespace

Merge branch 'pr138': fix long paths on windows

test that web.static= is really treated as a relative path

Also ssh.authorized_keys_file .

Quote the default node-directory correctly in help output. refs #2235

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

More robust error handling in windows_getenv. refs #1674

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

tahoe_cp.py: clean up unicode handling

Changes filename to unicode before placing the file. refs #2027

Author: Mark Berger <mark.berger.j@gmail.com>
Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Adds test_ticket_2027 to test_cli.Cp. refs #2027

Author: Mark Berger <mark.berger.j@gmail.com>
Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Fix user-path-expansion on Windows for non-ASCII home directories. refs #1674

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Change uses of os.path.expanduser and os.path.abspath. refs #2235

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Use absolute paths in tahoe cp and tahoe backup. refs #2235

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add support in abspath_expanduser_unicode for expanding relative to a base path. refs #2235

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Quote local paths correctly. refs #2235

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Use "long" paths prefixed with \\?\ on Windows. refs #2235

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

fileutil cleanup: delete the unused open_or_create function.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Adds _servers_with_shares to ServermapUpdater

When calculating the query boundary for updates to mutable files,
instead of using servers that used to have shares, use servers we
have added to the servermap. This way the querying process won't finish
until we have finished interacting with the servers that have shares.

This fixes the race condition which sometimes caused the querying process
to finish before the updater was done talking to servers with shares.

Revert "Enable DeprecationWarnings for Travis-CI even on Python 2.7. refs #2366"

This reverts commit cec7727bf980f62ba5e98d11776edb658860e350.

It caused travis (for py2.7) to fail on these tests:

* allmydata.test.test_runner.BinTahoe.test_version_no_noise
* allmydata.test.test_runner.RunNode.test_client_no_noise
* allmydata.test.test_system.SystemTest.test_filesystem_with_cli_in_subprocess

Enable DeprecationWarnings for Travis-CI even on Python 2.7. refs #2366

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Merge pull request #137 from warner/2312-deprecation

Appease req.setHeader by passing bytes, not ints.

Appease req.setHeader by passing bytes, not ints.

twisted.web.http.Request.setHeader() really wants a "bytes" object, but
we've been passing integers like len(body). Twisted-12.3 started to
complain about this (with a DeprecationWarning), but the warning is
usually silenced because py2.7 disables deprecations by default.

This fixes Tahoe's misbehavior, but others remain (in Nevow, at least).
I plan to set up some tooling to run tests with
PYTHONWARNINGS=default::DeprecationWarning and collect others. We won't
be able to fix the ones that occur outside of Tahoe, but at least we
should be able to fix our own.

refs ticket:2312

Merge branch 'pr136' (WUI accessibility fix #1961)

This closes ticket:1961 .

welcome.xhtml: improve layout by floating the icons to the left.

This uses less vertical space.

Introduce icons with distinct shape for connection status display on the front wui page...

This replaces the status display which was only distinct by color which is a usability issue for color-blind users.  This commit includes test coverage by way of pattern matching on rendered templates.  The PNG icons are conversions of original SVG source which I've included and placed in the public domain.

Latest cryptography depends on enum34.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

dependecy specs: tolerate new PEP440 semantics too

The latest setuptools (version 8) changed the way dependency
specifications ("I can handle libfoo version 2 or 3, but not 4") are
interpreted. The new version follows PEP440, which is simpler but
somewhat less expressive. Tahoe's _auto_deps.py now uses dep-specs which
are correctly parsed by both old and new setuptools.

Fixes ticket:2354.

* Restrict the requirements in _auto_deps.py to work with either the old
  or PEP 440 semantics.
* Update check_requirement and tests to take account of changes for PEP
  440 compatibility.
* Fix an error message.
* Remove a superfluous TODO.

Merge pull request #135 from vu3rdd/182-osx-packaging-7

Makefile: make "build-osx-pkg" build target depend on the "build" target

Makefile: make "build-osx-pkg" build target depend on the "build" target

Update docs for SFTP public key auth. refs #1411

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Reserve all keytypes starting with "ssh-" in an accounts file, rather than only "ssh-rsa" and "ssh-dsa".

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add Jean-Paul Calderone to CREDITS. refs #1411

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Simplify key checking code by inlining _allowedKey and _correctSignature. refs #1141

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Give out FTPAvatarID objects instead.

Add the rest of the failure-case tests and a success-case test.  Update the implementation to make them pass.

Add a test for the bad key case of unauthorized ssh key checking.

Add a test for one unauthorized case of ssh key checking.

Merge pull request #133 from matthazinski/master

Move UDP listen inside try block

Move UDP listen inside try block

Fix minor dependencies on "allmydata-tahoe" as appname.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Makefile: make APPNAME a variable.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Update obsolete paths in munin plugin comments.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

misc/build_helpers/run_trial.py is no longer used.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Work around a Travis-CI configuration change.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

test_storage_client.py: add test_get_available_space_{old,new}.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

add available-space to VERSION_DEFAULTS

as per warner's suggestion in https://github.com/warner/tahoe-lafs/pull/4