]> git.rkrishnan.org Git - tahoe-lafs/tahoe-lafs.git/blobdiff - setup.py
docs: reformatting of known_issues.rst
[tahoe-lafs/tahoe-lafs.git] / setup.py
index 785a39a26a304292a07bb46d0c309567bc1e80e9..4b90c36cac55656045c736d9b362f63dbb700f2d 100644 (file)
--- a/setup.py
+++ b/setup.py
@@ -3,13 +3,13 @@
 
 # Tahoe-LAFS -- secure, distributed storage grid
 #
-# Copyright © 2008-2010 Allmydata, Inc.
+# Copyright © 2008-2011 Allmydata, Inc.
 #
 # This file is part of Tahoe-LAFS.
 #
-# See the docs/about.html file for licensing information.
+# See the docs/about.rst file for licensing information.
 
-import os, shutil, stat, subprocess, sys, zipfile, re
+import glob, os, stat, subprocess, sys, re
 
 ##### sys.path management
 
@@ -38,28 +38,48 @@ def read_version_py(infname):
 
 version = read_version_py("src/allmydata/_version.py")
 
+APPNAME='allmydata-tahoe'
+APPNAMEFILE = os.path.join('src', 'allmydata', '_appname.py')
+APPNAMEFILESTR = "__appname__ = '%s'" % (APPNAME,)
 try:
-    from ez_setup import use_setuptools
-except ImportError:
-    pass
+    curappnamefilestr = open(APPNAMEFILE, 'rU').read()
+except EnvironmentError:
+    # No file, or unreadable or something, okay then let's try to write one.
+    open(APPNAMEFILE, "w").write(APPNAMEFILESTR)
 else:
-    # This invokes our own customized version of ez_setup.py to make sure
-    # that setuptools v0.6c12dev (which is our own toothpick of setuptools)
-    # is used to build. Note that we can use any version of setuptools >=
-    # 0.6c6 to *run* -- see _auto_deps.py for run-time dependencies (a.k.a.
-    # "install_requires") -- this is only for build-time dependencies (a.k.a.
-    # "setup_requires").
-    use_setuptools(download_delay=0, min_version="0.6c12dev")
+    if curappnamefilestr.strip() != APPNAMEFILESTR:
+        print "Error -- this setup.py file is configured with the 'application name' to be '%s', but there is already a file in place in '%s' which contains the contents '%s'.  If the file is wrong, please remove it and setup.py will regenerate it and write '%s' into it." % (APPNAME, APPNAMEFILE, curappnamefilestr, APPNAMEFILESTR)
+        sys.exit(-1)
+
+# setuptools/zetuptoolz looks in __main__.__requires__ for a list of
+# requirements. When running "python setup.py test", __main__ is
+# setup.py, so we put the list here so that the requirements will be
+# available for tests:
+
+# Tahoe's dependencies are managed by the find_links= entry in setup.cfg and
+# the _auto_deps.install_requires list, which is used in the call to setup()
+# below.
+adglobals = {}
+execfile('src/allmydata/_auto_deps.py', adglobals)
+install_requires = adglobals['install_requires']
+
+if len(sys.argv) > 1 and sys.argv[1] == '--fakedependency':
+    del sys.argv[1]
+    install_requires += ["fakedependency >= 1.0.0"]
+
+__requires__ = install_requires[:]
+
+egg = os.path.realpath(glob.glob('setuptools-*.egg')[0])
+sys.path.insert(0, egg)
+egg = os.path.realpath(glob.glob('darcsver-*.egg')[0])
+sys.path.insert(0, egg)
+egg = os.path.realpath(glob.glob('setuptools_darcs-*.egg')[0])
+sys.path.insert(0, egg)
+import setuptools; setuptools.bootstrap_install_from = egg
 
 from setuptools import find_packages, setup
 from setuptools.command import sdist
 from setuptools import Command
-from pkg_resources import require
-
-# Make the dependency-version-requirement, which is used by the Makefile at
-# build-time, also available to the app at runtime:
-shutil.copyfile("_auto_deps.py",
-                os.path.join("src", "allmydata", "_auto_deps.py"))
 
 trove_classifiers=[
     "Development Status :: 5 - Production/Stable",
@@ -86,6 +106,7 @@ trove_classifiers=[
     "Programming Language :: Python :: 2.4",
     "Programming Language :: Python :: 2.5",
     "Programming Language :: Python :: 2.6",
+    "Programming Language :: Python :: 2.7",
     "Topic :: Utilities",
     "Topic :: System :: Systems Administration",
     "Topic :: System :: Filesystems",
@@ -112,124 +133,94 @@ setup_requires = []
 # configure it to run darcsver before your command, if you want the version
 # number to be correct when that command runs.
 # http://pypi.python.org/pypi/darcsver
-setup_requires.append('darcsver >= 1.2.0')
-
-# Nevow requires Twisted to setup, but doesn't declare that requirement in a
-# way that enables setuptools to satisfy that requirement before Nevow's
-# setup.py tried to "import twisted". Fortunately we require setuptools_trial
-# to setup and setuptools_trial requires Twisted to install, so hopefully
-# everything will work out until the Nevow issue is fixed:
-# http://divmod.org/trac/ticket/2629 setuptools_trial is needed if you want
-# "./setup.py trial" or "./setup.py test" to execute the tests (and in order
-# to make sure Twisted is installed early enough -- see the paragraph above).
-# http://pypi.python.org/pypi/setuptools_trial
-setup_requires.extend(['setuptools_trial >= 0.5'])
-
-# setuptools_darcs is required to produce complete distributions (such as
-# with "sdist" or "bdist_egg") (unless there is a PKG-INFO file present which
-# shows that this is itself a source distribution). For simplicity, and
-# because there is some unknown error with setuptools_darcs when building and
-# testing tahoe all in one python command on some platforms, we always add it
-# to setup_requires. http://pypi.python.org/pypi/setuptools_darcs
-setup_requires.append('setuptools_darcs >= 1.1.0')
+setup_requires.append('darcsver >= 1.7.2')
+
+# Nevow imports itself when building, which causes Twisted and zope.interface
+# to be imported. We need to make sure that the versions of Twisted and
+# zope.interface used at build time satisfy Nevow's requirements. If not
+# then there are two problems:
+#  - prior to Nevow v0.9.33, Nevow didn't declare its dependency on Twisted
+#    in a way that enabled setuptools to satisfy that requirement at
+#    build time.
+#  - some versions of zope.interface, e.g. v3.6.4, are incompatible with
+#    Nevow, and we need to avoid those both at build and run-time.
+#
+# This only matters when compatible versions of Twisted and zope.interface
+# are not already installed. Retire this hack when
+# https://bugs.launchpad.net/nevow/+bug/812537 has been fixed.
+setup_requires += [req for req in install_requires if req.startswith('Twisted') or req.startswith('zope.interface')]
+
+# setuptools_darcs is required to produce complete distributions (such
+# as with "sdist" or "bdist_egg"), unless there is a
+# src/allmydata_tahoe.egg-info/SOURCE.txt file present which contains
+# a complete list of files that should be included.
+
+# http://pypi.python.org/pypi/setuptools_darcs
+
+# However, requiring it runs afoul of a bug in Distribute, which was
+# shipped in Ubuntu Lucid, so for now you have to manually install it
+# before building sdists or eggs:
+# http://bitbucket.org/tarek/distribute/issue/55/revision-control-plugin-automatically-installed-as-a-build-dependency-is-not-present-when-another-build-dependency-is-being
+
+# Note that we explicitly inject setuptools_darcs at the beginning of
+# this setup.py file, so it is still in effect when building dists
+# using this setup.py file even when the following requirement is
+# disabled.
+if False:
+    setup_requires.append('setuptools_darcs >= 1.1.0')
 
 # trialcoverage is required if you want the "trial" unit test runner to have a
 # "--reporter=bwverbose-coverage" option which produces code-coverage results.
+# The required version is 0.3.3, because that is the latest version that only
+# depends on a version of pycoverage for which binary packages are available.
 if "--reporter=bwverbose-coverage" in sys.argv:
-    setup_requires.append('trialcoverage >= 0.3.10')
+    setup_requires.append('trialcoverage >= 0.3.3')
 
 # stdeb is required to produce Debian files with the "sdist_dsc" command.
 if "sdist_dsc" in sys.argv:
     setup_requires.append('stdeb >= 0.3')
 
-class ShowSupportLib(Command):
-    user_options = []
-    def initialize_options(self):
-        pass
-    def finalize_options(self):
-        pass
-    def run(self):
-        # TODO: --quiet suppresses the 'running show_supportlib' message.
-        # Find a way to do this all the time.
-        print supportlib # TODO windowsy
+# We no longer have any requirements specific to tests.
+tests_require=[]
 
-class ShowPythonPath(Command):
-    user_options = []
-    def initialize_options(self):
-        pass
-    def finalize_options(self):
-        pass
-    def run(self):
-        # TODO: --quiet suppresses the 'running show_supportlib' message.
-        # Find a way to do this all the time.
-        print "PYTHONPATH=%s" % os.environ.get("PYTHONPATH", '')
 
-class RunWithPythonPath(Command):
-    description = "Run a subcommand with PYTHONPATH set appropriately"
-
-    user_options = [ ("python", "p",
-                      "Treat command string as arguments to a python executable"),
-                     ("command=", "c", "Command to be run"),
-                     ("directory=", "d", "Directory to run the command in"),
-                     ]
-    boolean_options = ["python"]
+class Trial(Command):
+    description = "run trial (use 'bin%stahoe debug trial' for the full set of trial options)" % (os.sep,)
+    # This is just a subset of the most useful options, for compatibility.
+    user_options = [ ("rterrors", "e", "Print out tracebacks as soon as they occur."),
+                     ("reporter=", None, "The reporter to use for this test run."),
+                     ("suite=", "s", "Specify the test suite."),
+                     ("quiet", None, "Don't display version numbers and paths of Tahoe dependencies."),
+                   ]
 
     def initialize_options(self):
-        self.command = None
-        self.python = False
-        self.directory = None
-    def finalize_options(self):
-        pass
-    def run(self):
-        oldpp = os.environ.get("PYTHONPATH", "").split(os.pathsep)
-        if oldpp == [""]:
-            # grr silly split() behavior
-            oldpp = []
-        os.environ['PYTHONPATH'] = os.pathsep.join(oldpp + [supportlib,])
-
-        # We must require the command to be safe to split on
-        # whitespace, and have --python and --directory to make it
-        # easier to achieve this.
-
-        command = []
-        if self.python:
-            command.append(sys.executable)
-        if self.command:
-            command.extend(self.command.split())
-        if not command:
-            raise RuntimeError("The --command argument is mandatory")
-        if self.directory:
-            os.chdir(self.directory)
-        if self.verbose:
-            print "command =", " ".join(command)
-        rc = subprocess.call(command)
-        sys.exit(rc)
+        self.rterrors = False
+        self.reporter = None
+        self.suite = "allmydata"
+        self.quiet = False
 
-class TestMacDiskImage(Command):
-    user_options = []
-    def initialize_options(self):
-        pass
     def finalize_options(self):
         pass
-    def run(self):
-        import sys
-        sys.path.append('misc')
-        import test_mac_diskimage
-        return test_mac_diskimage.test_mac_diskimage('Allmydata', version=self.distribution.metadata.version)
 
-class CheckAutoDeps(Command):
-    user_options = []
-    def initialize_options(self):
-        pass
-    def finalize_options(self):
-        pass
     def run(self):
-        import _auto_deps
-        _auto_deps.require_auto_deps()
+        args = [sys.executable, os.path.join('bin', 'tahoe')]
+        if not self.quiet:
+            args.append('--version-and-path')
+        args += ['debug', 'trial']
+        if self.rterrors:
+            args.append('--rterrors')
+        if self.reporter:
+            args.append('--reporter=' + self.reporter)
+        if self.suite:
+            args.append(self.suite)
+        rc = subprocess.call(args)
+        sys.exit(rc)
 
 
 class MakeExecutable(Command):
+    description = "make the 'bin%stahoe' scripts" % (os.sep,)
     user_options = []
+
     def initialize_options(self):
         pass
     def finalize_options(self):
@@ -237,53 +228,45 @@ class MakeExecutable(Command):
     def run(self):
         bin_tahoe_template = os.path.join("bin", "tahoe-script.template")
 
-        # Create the 'tahoe-script.py' file under the 'bin' directory. The
-        # 'tahoe-script.py' file is exactly the same as the
-        # 'tahoe-script.template' script except that the shebang line is
-        # rewritten to use our sys.executable for the interpreter. On
-        # Windows, create a tahoe.exe will execute it. On non-Windows, make a
-        # symlink to it from 'tahoe'. The tahoe.exe will be copied from the
-        # setuptools egg's cli.exe and this will work from a zip-safe and
-        # non-zip-safe setuptools egg.
+        # tahoe.pyscript is really only necessary for Windows, but we also
+        # create it on Unix for consistency.
+        script_names = ["tahoe.pyscript", "tahoe"]
+
+        # Create the tahoe script file under the 'bin' directory. This
+        # file is exactly the same as the 'tahoe-script.template' script
+        # except that the shebang line is rewritten to use our sys.executable
+        # for the interpreter.
         f = open(bin_tahoe_template, "rU")
         script_lines = f.readlines()
         f.close()
-        script_lines[0] = "#!%s\n" % sys.executable
-        tahoe_script = os.path.join("bin", "tahoe-script.py")
-        f = open(tahoe_script, "w")
-        for line in script_lines:
-            f.write(line)
-        f.close()
-        if sys.platform == "win32":
-            setuptools_egg = require("setuptools")[0].location
-            if os.path.isfile(setuptools_egg):
-                z = zipfile.ZipFile(setuptools_egg, 'r')
-                for filename in z.namelist():
-                    if 'cli.exe' in filename:
-                        cli_exe = z.read(filename)
-            else:
-                cli_exe = os.path.join(setuptools_egg, 'setuptools', 'cli.exe')
-            tahoe_exe = os.path.join("bin", "tahoe.exe")
-            if os.path.isfile(setuptools_egg):
-                f = open(tahoe_exe, 'wb')
-                f.write(cli_exe)
-                f.close()
-            else:
-                shutil.copy(cli_exe, tahoe_exe)
-        else:
+        script_lines[0] = '#!%s\n' % (sys.executable,)
+        for script_name in script_names:
+            tahoe_script = os.path.join("bin", script_name)
             try:
-                os.remove(os.path.join('bin', 'tahoe'))
-            except:
-                # okay, probably it was already gone
-                pass
-            os.symlink('tahoe-script.py', os.path.join('bin', 'tahoe'))
-
-        # chmod +x bin/tahoe-script.py
-        old_mode = stat.S_IMODE(os.stat(tahoe_script)[stat.ST_MODE])
+                os.remove(tahoe_script)
+            except Exception:
+                if os.path.exists(tahoe_script):
+                   raise
+            f = open(tahoe_script, "wb")
+            for line in script_lines:
+                f.write(line)
+            f.close()
+
+        # chmod +x
+        unix_script = os.path.join("bin", "tahoe")
+        old_mode = stat.S_IMODE(os.stat(unix_script)[stat.ST_MODE])
         new_mode = old_mode | (stat.S_IXUSR | stat.S_IRUSR |
                                stat.S_IXGRP | stat.S_IRGRP |
                                stat.S_IXOTH | stat.S_IROTH )
-        os.chmod(tahoe_script, new_mode)
+        os.chmod(unix_script, new_mode)
+
+        old_tahoe_exe = os.path.join("bin", "tahoe.exe")
+        try:
+            os.remove(old_tahoe_exe)
+        except Exception:
+            if os.path.exists(old_tahoe_exe):
+                raise
+
 
 class MySdist(sdist.sdist):
     """ A hook in the sdist command so that we can determine whether this the
@@ -330,23 +313,6 @@ class MySdist(sdist.sdist):
 
         return sdist.sdist.make_distribution(self)
 
-# Tahoe's dependencies are managed by the find_links= entry in setup.cfg and
-# the _auto_deps.install_requires list, which is used in the call to setup()
-# below.
-from _auto_deps import install_requires
-
-APPNAME='allmydata-tahoe'
-APPNAMEFILE = os.path.join('src', 'allmydata', '_appname.py')
-APPNAMEFILESTR = "__appname__ = '%s'" % (APPNAME,)
-try:
-    curappnamefilestr = open(APPNAMEFILE, 'rU').read()
-except EnvironmentError:
-    # No file, or unreadable or something, okay then let's try to write one.
-    open(APPNAMEFILE, "w").write(APPNAMEFILESTR)
-else:
-    if curappnamefilestr.strip() != APPNAMEFILESTR:
-        print "Error -- this setup.py file is configured with the 'application name' to be '%s', but there is already a file in place in '%s' which contains the contents '%s'.  If the file is wrong, please remove it and setup.py will regenerate it and write '%s' into it." % (APPNAME, APPNAMEFILE, curappnamefilestr, APPNAMEFILESTR)
-        sys.exit(-1)
 
 setup_args = {}
 if version:
@@ -356,14 +322,10 @@ setup(name=APPNAME,
       description='secure, decentralized, fault-tolerant filesystem',
       long_description=open('README.txt', 'rU').read(),
       author='the Tahoe-LAFS project',
-      author_email='tahoe-dev@allmydata.org',
+      author_email='tahoe-dev@tahoe-lafs.org',
       url='http://tahoe-lafs.org/',
       license='GNU GPL', # see README.txt -- there is an alternative licence
-      cmdclass={"show_supportlib": ShowSupportLib,
-                "show_pythonpath": ShowPythonPath,
-                "run_with_pythonpath": RunWithPythonPath,
-                "check_auto_deps": CheckAutoDeps,
-                "test_mac_diskimage": TestMacDiskImage,
+      cmdclass={"trial": Trial,
                 "make_executable": MakeExecutable,
                 "sdist": MySdist,
                 },
@@ -372,9 +334,11 @@ setup(name=APPNAME,
       classifiers=trove_classifiers,
       test_suite="allmydata.test",
       install_requires=install_requires,
+      tests_require=tests_require,
       include_package_data=True,
       setup_requires=setup_requires,
       entry_points = { 'console_scripts': [ 'tahoe = allmydata.scripts.runner:run' ] },
       zip_safe=False, # We prefer unzipped for easier access.
+      versionfiles=['src/allmydata/_version.py',],
       **setup_args
       )