Improve zetuptoolz' logging of what it is doing.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Refactoring to move the not_import_versionable and ignorable package lists to _auto_deps.py.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Change python.org link (https, main download page); editing.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

reflow to fill-column 77

and add comment informing your text editor that fill-column=77

Add pkg-config directory to .gitignore

Merge pull request #109 from warner/2023-caution

Avoid Popen() of executables that don't exist

Avoid Popen() of executables that don't exist

The stdlib 'subprocess' module in python-2.7.4 through 2.7.7 suffers
from http://bugs.python.org/issue18851 which causes unrelated file
descriptors to be closed when `subprocess.call()` fails the `exec()`,
such as when the executable being invoked does not actually exist. There
appears to be some randomness involved. This was fixed in python-2.7.8.

Tahoe's iputil.py uses subprocess.call on many different "ifconfig"-type
executables, most of which don't exist on any given platform (added in
git commit 8e31d66cd0b). This results in a lot of file-descriptor
closing, which (at least during unit tests) tends to clobber important
things like Tub TCP sockets. This seems to be the root cause behind
ticket:2121, in which normal code tries to close already-closed sockets,
crashing the unit tests. Since different platforms have different
ifconfigs, some platforms will experience more failed execs than others,
so this bug could easily behave differently on linux vs freebsd, as well
as working normally on python-2.7.8 or 2.7.4.

This patch inserts a guard to make sure that os.path.isfile() is true
before allowing Popen.call() to try executing the target. This ought to
be enough to avoid the bug. It changes both iputil.py and
allmydata.__init__ (which uses Popen for calling "lsb_release"), which
are all the places where 'subprocess' is used outside of unit tests.

Other potential fixes: use the 'subprocess32' module from PyPI (which is
a bug-free backport of the Python3 stdlib subprocess module, but would
introduce a new dependency), or require python >= 2.7.8 (but this would
rule out development/deployment on the current OS-X 10.9 release, which
ships with 2.7.5, as well as other distributions like Ubuntu 14.04 LTS).

I believe this closes ticket:2121, and given the apparent relationship
between 2121 and 2023, I think it also closes ticket:2023 (although
since 2023 doesn't have copies of the failing log files, it's hard to
tell). I'm hoping that this will tide us over until 1.11 is released, at
which point we can execute on the plan to remove iputil.py entirely by
changing the way that nodes learn their externally-facing IP address.

test_disk_stats: tolerate used==0 for a Travis worker bug

Some Travis-CI workers report persistently empty disks, causing spurious
test failures. It's not really that important to assert used>0, so this
relaxes the test.

Closes ticket:2290

travis: show os.statvfs before build, to investigate #2290

welcome.xhtml: explain MDMF too

Update welcome.xhtml

Add a tooltip to explain what SDMF means. Cannot find a definition for MDMF; I presume "Medium" but at the risk of being wrong, I don't want to just blindly make that suggested change.

Rename README.txt to README.rst, and add Travis-CI and Coveralls badges to it.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Makefile: remove 'twisted' from SOURCES

coverage2el.py: update to current coverage-3.7.1 API

Merge pull request #107 from warner/2281-trialcoverage

Remove 'trialcoverage' plugin and support code

Remove 'trialcoverage' plugin and support code

Closes ticket:2281 (trac).

This removes src/allmydata/test/trial_coverage.py, which was a
in-process way to run trial tests under the "coverage" code-coverage
tool. These days, the preferred way to do this is with "coverage run",
although the actual invocation is a bit messy because of the way
bin/trial uses subprocess.call() to invoke the real entrypoint script
with the right PYTHONPATH (see #1698 for details). Hopefully this will
be improved to use a simpler "coverage run .." command in the future.

This patch also removes twisted/plugins/allmydata_trial.py, which
enabled the "--reporter=bwverbose-coverage" option. Finally it modifies
setup.py to stop looking for that option and adding "trialcoverage" to
the dependencies list, which gets us closer to removing "setup_requires"
entirely.

Update .PHONY declarations in Makefile.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Update coverage-related targets in Makefile. refs #1698

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Delete useless stuff from Makefile.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add a --coverage option to 'python setup.py test' and 'python setup.py trial'. refs #1698

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

remove obsolete debian-package building tools

setup.py: stop sometimes-depending upon 'stdeb'
setup.cfg: don't try to alias 'sdist_dsc'
misc/build_helpers/build-deb.py: delete this, it was really old anyways

Closes ticket:2282 (trac).

Merge branch markberger/ticket-2008

This changes test_upload.py to delete-all-shares more gently, leaving
the 'incoming' directory in place, which should help the rest of the
test pass.

Closes tahoe-lafs/tahoe-lafs#50 (github PR)
Closes ticket:2008 (trac)

Removes unnecessary import

Fixes tests which were improperly deleting shares

Adds delete_all_shares

Deletes shares from server 0 correctly

Deletes the shares from server 0 without setting the remaining
size to 0

Makefile: fix test-clean by using 'distclean'

check_memory: stop using long-deprecated twisted internals

Merge branch tarcieri/redesigned-directory-page

Closes ticket:1966 (trac)
Closes tahoe-lafs/tahoe-lafs#32 (github PR)

add a <br>

Updates webui directory forms

make tests pass with redesigned directory pages

Redesigned directory pages (WIP)

This is an initial conversion of the directory pages from the old style
to the new style which is based on Twitter Bootstrap.

Still some remaining work to be done. You can see a screenshot here:

http://i.imgur.com/MPEngGx.png

welcome page: improve CSS slightly for narrow windows

Thanks to tarcieri for the patch.

refs ticket:1931

publish.py: log roothash in base32, not binary

Closes ticket:1800

Merge branch markberger/712-tahoe-cp-doesnt-copy-dir

Closes ticket:712 (trac).
Closes tahoe-lafs/tahoe-lafs#56 (github PR).

CLI.rst: expand the 'cp -r' subdirectory example

Documentation updates

Fix tests which relied on the old behavior of tahoe cp -r

tahoe cp -r now copies the top level directory with its children

Adds test_cli.Cp.test_cp_copies_dir

Update copyright year.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Reference README.txt from License section of docs/about.rst, rather than duplicating the license info. fixes #2067

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

.travis.yml: okay, fetching just tags apparently isn't sufficient (and this use of 'git pull' won't actually pull any new commits, because we'll be on a detached head).

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

.travis.yml: make sure that we only fetch tags and don't change the requested commit.

.travis.yml: really fix command used for testing.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Suppress a DeprecationWarning from Twisted.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

.travis.yml: fix command used for testing.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Suppress all UserWarnings, not just ones with known messages. refs #2248

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Suppress warning about service_identity. fixes #2248

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Revert previous patch; service_identity has too many subdependencies.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Add service_identity as a dependency. fixes #2248

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

.travis.yml: correct the --source argument to coverage (it should be a directory, not a module name).

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

.travis.yml: Make sure that update_version has enough history to see the last release tag.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

.travis.yml: install Twisted explicitly to work around #2249.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Support coverage reporting via coverage.io. refs #623

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Document ways to use LAFS as a key-value store.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Merge pull request #103 from zooko/2280-recommend-tahoe-backup_3

2280 recommend tahoe backup 3

formatting fixes

recommend `tahoe backup`

and, explain some of why it is awesome, and link to
`<docs/frontends/CLI.rst>`__.

test_runner: rename *_FILE variables to lowercase, because they are not constants.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Better name for the file that causes a node to exit after a timeout when running unit tests. refs #1336

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Merge pull request #96 from zooko/warn-about-FUSE-performance

add warning about performance problems with FUSE

Merge pull request #95 from zooko/remove-obsolete-comment

remove obsolete comment

add warning about performance problems with FUSE

remove obsolete comment

Merge pull request #94 from zooko/link-to-Twisted-ticket-4633

link to Twisted ticket #4633

link to Twisted ticket #4633

Merge branch 'pr6'

Update adding comments as seen in https://tahoe-lafs.org/pipermail/tahoe-dev/2012-May/007365.html
Found it useful. I can't see here clearly if deleting backupdb will affect deduplication and I'd like to clarify here, anyway. Do deduplication depend on backupdb data? TIA.

hush current pyflakes warnings (list comprehensions)

closes #2245

Merge pull request #91 from zooko/master

misc/build_helpers/show-tool-versions.py: print out more version information about dependencies and tools

add print_py_pkg_ver for all deps

Including probable-near-future-transitive deps due to the new pyOpenSSL…

Fix a pyflakes warning.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Improve error reporting for '#' characters in config entries. refs #2128

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Fix a shallow bug.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Error if a .furl config entry contains an unescaped '#'. fixes #2128

Author: Andrew Miller <amiller@dappervision.com>
Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Revert [603f5eba32c98d4bfbc354530dcd36dfcd58887a] which was applied unintentionally.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Fix #2048 (test_copy_using_filecap was doing much more work than necessary).

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Fix comments in test_copy_using_filecap to reflect what the tests actually do.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Use "long" paths prefixed with \\?\ on Windows. refs #2235

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Include unminified versions of d3+jquery. Addresses #2208.

This should hopefully satisfy the Debian requirement to include original
sources. The old minified files for d3 and jquery were 63k and 91k
respectively, while the new unminified files are 133k and 293k.

release docs: recommend Twine for package upload. Closes #2086.

Minor comment fix. refs #1847

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Remove ugly shadowing of Client.DEFAULT_ENCODING_PARAMETERS. fixes #1847

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

remove lzip, add cffi, cryptography.io

remove darcs tools from show-tool-versions

Merge pull request #87 from daira/2209-make-pip-install-img-dir

setup.py: include data files in package_data= with paths relative to src/allmydata/web.

setup.py: include data files in package_data= with paths relative to src/allmydata/web.
Remove packages= entries and unneeded __init__.py files for those subdirectories.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Remove 'needs-rebalancing' and add 'count-happiness' to checker reports; repair tests. fixes #1784, #2105

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Update my CREDITS entry.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

misc/simulators/hashbasedsig.py: revert last patch; the original code was correct.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

misc/simulators/hashbasedsig.py: fix minor miscalculation bug.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

misc/simulators/hashbasedsig.py: the cost of labels was being double-counted.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

misc/simulators/hashbasedsig.py: fix an incorrect comment.

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Use bigger random one-time keys in timing_safe_compare. fixes #2165

Follows this advice from Marsh Ray and Solar Designer: https://twitter.com/zooko/status/431105294777597952

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Rename 'constant_time_compare' to 'timing_safe_compare'. refs #2165

Signed-off-by: Daira Hopwood <daira@jacaranda.org>

Merge pull request #85 from leif/isolate-keygen-test

Isolate test_keygen in its own base directory. This also causes KeyGeneratorService to create its base directory if it does not exist.

isolate test_keygen data

This makes test_keygen use its own basedir, to avoid polluting the _trial_temp
directory for later tests.

Merge pull request #84 from kpreid/patch-1

Change kpreid's email address.