src/allmydata/_auto_deps.py

   1 # Note: please minimize imports in this file. In particular, do not import
   2 # any module from Tahoe-LAFS or its dependencies, and do not import any
   3 # modules at all at global level. That includes setuptools and pkg_resources.
   4 # It is ok to import modules from the Python Standard Library if they are
   5 # always available, or the import is protected by try...except ImportError.
   6
   7 # The semantics for requirement specs changed incompatibly in setuptools 8,
   8 # which now follows PEP 440. The requirements used in this file must be valid
   9 # under both the old and new semantics. That can be achieved by limiting
  10 # requirement specs to one of the following forms:
  11 #
  12 #   * >= X, <= Y where X < Y
  13 #   * >= X, != Y, != Z, ... where X < Y < Z...
  14 #
  15 # (In addition, check_requirement in allmydata/__init__.py only supports
  16 # >=, <= and != operators.)
  17
  18 install_requires = [
  19     # We require newer versions of setuptools (actually
  20     # zetuptoolz) to build, but can handle older versions to run.
  21     "setuptools >= 0.6c6",
  22
  23     "zfec >= 1.1.0",
  24
  25     # Feisty has simplejson 1.4
  26     "simplejson >= 1.4",
  27
  28     # zope.interface >= 3.6.0 is required for Twisted >= 12.1.0.
  29     # zope.interface 3.6.3 and 3.6.4 are incompatible with Nevow (#1435).
  30     "zope.interface >= 3.6.0, != 3.6.3, != 3.6.4",
  31
  32     # * foolscap < 0.5.1 had a performance bug which spent O(N**2) CPU for
  33     #   transferring large mutable files of size N.
  34     # * foolscap < 0.6 is incompatible with Twisted 10.2.0.
  35     # * foolscap 0.6.1 quiets a DeprecationWarning.
  36     # * foolscap < 0.6.3 is incompatible with Twisted 11.1.0 and newer.
  37     "foolscap >= 0.6.3",
  38
  39     # Needed for SFTP.
  40     # pycrypto 2.2 doesn't work due to <https://bugs.launchpad.net/pycrypto/+bug/620253>
  41     # pycrypto 2.4 doesn't work due to <https://bugs.launchpad.net/pycrypto/+bug/881130>
  42     "pycrypto >= 2.1.0, != 2.2, != 2.4",
  43
  44     # <http://www.voidspace.org.uk/python/mock/>, 0.8.0 provides "call"
  45     "mock >= 0.8.0",
  46
  47     # pycryptopp-0.6.0 includes ed25519
  48     "pycryptopp >= 0.6.0",
  49 ]
  50
  51 # Includes some indirect dependencies, but does not include allmydata.
  52 # These are in the order they should be listed by --version, etc.
  53 package_imports = [
  54     # package name       module name
  55     ('foolscap',         'foolscap'),
  56     ('pycryptopp',       'pycryptopp'),
  57     ('zfec',             'zfec'),
  58     ('Twisted',          'twisted'),
  59     ('Nevow',            'nevow'),
  60     ('zope.interface',   'zope.interface'),
  61     ('python',           None),
  62     ('platform',         None),
  63     ('pyOpenSSL',        'OpenSSL'),
  64     ('simplejson',       'simplejson'),
  65     ('pycrypto',         'Crypto'),
  66     ('pyasn1',           'pyasn1'),
  67     ('mock',             'mock'),
  68 ]
  69
  70 # Dependencies for which we don't know how to get a version number at run-time.
  71 not_import_versionable = [
  72     'zope.interface',
  73     'mock',
  74     'pyasn1',
  75     'pyasn1-modules',
  76 ]
  77
  78 # Dependencies reported by pkg_resources that we can safely ignore.
  79 ignorable = [
  80     'argparse',
  81     'pyutil',
  82     'zbase32',
  83     'distribute',
  84     'twisted-web',
  85     'twisted-core',
  86     'twisted-conch',
  87 ]
  88
  89 import sys
  90
  91 # Don't try to get the version number of setuptools in frozen builds, because
  92 # that triggers 'site' processing that causes failures. Note that frozen
  93 # builds still (unfortunately) import pkg_resources in .tac files, so the
  94 # entry for setuptools in install_requires above isn't conditional.
  95 if not hasattr(sys, 'frozen'):
  96     package_imports.append(('setuptools', 'setuptools'))
  97
  98
  99 # Splitting the dependencies for Windows and non-Windows helps to fix
 100 # <https://tahoe-lafs.org/trac/tahoe-lafs/ticket/2249> and
 101 # <https://tahoe-lafs.org/trac/tahoe-lafs/ticket/2028>.
 102
 103 if sys.platform == "win32":
 104     install_requires += [
 105         # * On Windows we need at least Twisted 9.0 to avoid an indirect
 106         #   dependency on pywin32.
 107         # * We also need Twisted 10.1 for the FTP frontend in order for
 108         #   Twisted's FTP server to support asynchronous close.
 109         # * When the cloud backend lands, it will depend on Twisted 10.2.0
 110         #   which includes the fix to <https://twistedmatrix.com/trac/ticket/411>.
 111         # * The SFTP frontend depends on Twisted 11.0.0 to fix the SSH server
 112         #   rekeying bug <https://twistedmatrix.com/trac/ticket/4395>
 113         # * The FTP frontend depends on Twisted >=11.1.0 for
 114         #   filepath.Permissions
 115         # * We don't want Twisted >= 12.2.0 to avoid a dependency of its endpoints
 116         #   code on pywin32. <https://tahoe-lafs.org/trac/tahoe-lafs/ticket/2028>
 117         #
 118         "Twisted >= 11.1.0, <= 12.1.0",
 119
 120         # * We need Nevow >= 0.9.33 to avoid a bug in Nevow's setup.py
 121         #   which imported twisted at setup time.
 122         # * We don't want Nevow 0.11 because that requires Twisted >= 13.0
 123         #   which conflicts with the Twisted requirement above.
 124         #   <https://tahoe-lafs.org/trac/tahoe-lafs/ticket/2291>
 125         #
 126         "Nevow >= 0.9.33, <= 0.10",
 127
 128         # pyasn1 is needed by twisted.conch in Twisted >= 9.0.
 129         "pyasn1 >= 0.0.8a",
 130     ]
 131 else:
 132     install_requires += [
 133         # * On Linux we need at least Twisted 10.1.0 for inotify support
 134         #   used by the drop-upload frontend.
 135         # * Nevow 0.11.1 requires Twisted >= 13.0.0 so we might as well
 136         #   require it directly; this helps to work around
 137         #   <https://tahoe-lafs.org/trac/tahoe-lafs/ticket/2286>.
 138         #   This also satisfies the requirements for the FTP and SFTP
 139         #   frontends and cloud backend mentioned in the Windows section
 140         #   above.
 141         #
 142         "Twisted >= 13.0.0",
 143
 144         # Nevow >= 0.11.1 can be installed using pip.
 145         "Nevow >= 0.11.1",
 146
 147         "service-identity",         # this is needed to suppress complaints about being unable to verify certs
 148         "characteristic >= 14.0.0", # latest service-identity depends on this version
 149         "pyasn1 >= 0.1.4",          # latest pyasn1-modules depends on this version
 150         "pyasn1-modules",           # service-identity depends on this
 151     ]
 152
 153     package_imports += [
 154         ('service-identity', 'service_identity'),
 155         ('characteristic',   'characteristic'),
 156         ('pyasn1-modules',   'pyasn1_modules'),
 157     ]
 158
 159
 160 # * pyOpenSSL is required in order for foolscap to provide secure connections.
 161 #   Since foolscap doesn't reliably declare this dependency in a machine-readable
 162 #   way, we need to declare a dependency on pyOpenSSL ourselves. Tahoe-LAFS does
 163 #   not *directly* depend on pyOpenSSL.
 164 #
 165 # * pyOpenSSL >= 0.13 is needed in order to avoid
 166 #   <https://tahoe-lafs.org/trac/tahoe-lafs/ticket/2005>.
 167 #
 168 # * pyOpenSSL >= 0.14 is built on the 'cryptography' package which depends
 169 #   on 'cffi' (and indirectly several other packages). Unfortunately cffi
 170 #   attempts to compile code dynamically, which causes problems on many systems.
 171 #   It also depends on the libffi OS package which may not be installed.
 172 #   <https://bitbucket.org/cffi/cffi/issue/109/enable-sane-packaging-for-cffi>
 173 #   <https://bitbucket.org/cffi/cffi/issue/70/cant-install-cffi-using-pip-on-windows>
 174 #
 175 #   So, if pyOpenSSL 0.14 has *already* been installed and is importable, we
 176 #   want to accept it; otherwise we ask for pyOpenSSL 0.13 or 0.13.1.
 177 #   <https://tahoe-lafs.org/trac/tahoe-lafs/ticket/2193>
 178 #
 179 #   We don't rely on pkg_resources to tell us the installed pyOpenSSL version
 180 #   number, because pkg_resources telling us that we have 0.14 is not sufficient
 181 #   evidence that 0.14 will be the imported version (or will work correctly).
 182 #   One possible reason why it might not be is explained in
 183 #   <https://tahoe-lafs.org/trac/tahoe-lafs/ticket/1246#comment:6> and
 184 #   <https://tahoe-lafs.org/trac/tahoe-lafs/ticket/1258>.
 185
 186 _can_use_pyOpenSSL_0_14 = False
 187 try:
 188     import OpenSSL
 189     pyOpenSSL_ver = OpenSSL.__version__.split('.')
 190     if int(pyOpenSSL_ver[0]) > 0 or int(pyOpenSSL_ver[1]) >= 14:
 191         _can_use_pyOpenSSL_0_14 = True
 192 except Exception:
 193     pass
 194
 195 if _can_use_pyOpenSSL_0_14:
 196     install_requires += [
 197         # Although we checked for pyOpenSSL >= 0.14 above, we only actually
 198         # need pyOpenSSL >= 0.13; requiring 0.14 here cannot help.
 199         "pyOpenSSL >= 0.13",
 200
 201         # ... and now all the new stuff that pyOpenSSL 0.14 transitively
 202         # depends on. We specify these explicitly because setuptools is
 203         # bad at correctly resolving indirect dependencies (e.g. see
 204         # <https://tahoe-lafs.org/trac/tahoe-lafs/ticket/2286>).
 205         #
 206         "cryptography",
 207         "cffi >= 0.8",          # latest cryptography depends on this version
 208         "six >= 1.4.1",         # latest cryptography depends on this version
 209         "enum34",               # latest cryptography depends on this
 210         "pycparser",            # cffi depends on this
 211     ]
 212
 213     package_imports += [
 214         ('cryptography',     'cryptography'),
 215         ('cffi',             'cffi'),
 216         ('six',              'six'),
 217         ('enum34',           'enum'),
 218         ('pycparser',        'pycparser'),
 219     ]
 220 else:
 221     install_requires += [
 222         "pyOpenSSL >= 0.13, <= 0.13.1",
 223     ]
 224
 225
 226 # These are suppressed globally:
 227
 228 global_deprecation_messages = [
 229     "BaseException.message has been deprecated as of Python 2.6",
 230     "twisted.internet.interfaces.IFinishableConsumer was deprecated in Twisted 11.1.0: Please use IConsumer (and IConsumer.unregisterProducer) instead.",
 231     "twisted.internet.interfaces.IStreamClientEndpointStringParser was deprecated in Twisted 14.0.0: This interface has been superseded by IStreamClientEndpointStringParserWithReactor.",
 232 ]
 233
 234 # These are suppressed while importing dependencies:
 235
 236 deprecation_messages = [
 237     "the sha module is deprecated; use the hashlib module instead",
 238     "object.__new__\(\) takes no parameters",
 239     "The popen2 module is deprecated.  Use the subprocess module.",
 240     "the md5 module is deprecated; use hashlib instead",
 241     "twisted.web.error.NoResource is deprecated since Twisted 9.0.  See twisted.web.resource.NoResource.",
 242     "the sets module is deprecated",
 243 ]
 244
 245 runtime_warning_messages = [
 246     "Not using mpz_powm_sec.  You should rebuild using libgmp >= 5 to avoid timing attack vulnerability.",
 247 ]
 248
 249 warning_imports = [
 250     'nevow',
 251     'twisted.persisted.sob',
 252     'twisted.python.filepath',
 253     'Crypto.Hash.SHA',
 254 ]