src/allmydata/__init__.py

   1 """
   2 Decentralized storage grid.
   3
   4 community web site: U{https://tahoe-lafs.org/}
   5 """
   6
   7 class PackagingError(EnvironmentError):
   8     """
   9     Raised when there is an error in packaging of Tahoe-LAFS or its
  10     dependencies which makes it impossible to proceed safely.
  11     """
  12     pass
  13
  14 __version__ = "unknown"
  15 try:
  16     from allmydata._version import __version__
  17 except ImportError:
  18     # We're running in a tree that hasn't run update_version, and didn't
  19     # come with a _version.py, so we don't know what our version is.
  20     # This should not happen very often.
  21     pass
  22
  23 full_version = "unknown"
  24 branch = "unknown"
  25 try:
  26     from allmydata._version import full_version, branch
  27 except ImportError:
  28     # We're running in a tree that hasn't run update_version, and didn't
  29     # come with a _version.py, so we don't know what our full version or
  30     # branch is. This should not happen very often.
  31     pass
  32
  33 __appname__ = "unknown"
  34 try:
  35     from allmydata._appname import __appname__
  36 except ImportError:
  37     # We're running in a tree that hasn't run "./setup.py".  This shouldn't happen.
  38     pass
  39
  40 # __full_version__ is the one that you ought to use when identifying yourself in the
  41 # "application" part of the Tahoe versioning scheme:
  42 # https://tahoe-lafs.org/trac/tahoe-lafs/wiki/Versioning
  43 __full_version__ = __appname__ + '/' + str(__version__)
  44
  45 import os, platform, re, subprocess, sys, traceback
  46 _distributor_id_cmdline_re = re.compile("(?:Distributor ID:)\s*(.*)", re.I)
  47 _release_cmdline_re = re.compile("(?:Release:)\s*(.*)", re.I)
  48
  49 _distributor_id_file_re = re.compile("(?:DISTRIB_ID\s*=)\s*(.*)", re.I)
  50 _release_file_re = re.compile("(?:DISTRIB_RELEASE\s*=)\s*(.*)", re.I)
  51
  52 global _distname,_version
  53 _distname = None
  54 _version = None
  55
  56 def get_linux_distro():
  57     """ Tries to determine the name of the Linux OS distribution name.
  58
  59     First, try to parse a file named "/etc/lsb-release".  If it exists, and
  60     contains the "DISTRIB_ID=" line and the "DISTRIB_RELEASE=" line, then return
  61     the strings parsed from that file.
  62
  63     If that doesn't work, then invoke platform.dist().
  64
  65     If that doesn't work, then try to execute "lsb_release", as standardized in
  66     2001:
  67
  68     http://refspecs.freestandards.org/LSB_1.0.0/gLSB/lsbrelease.html
  69
  70     The current version of the standard is here:
  71
  72     http://refspecs.freestandards.org/LSB_3.2.0/LSB-Core-generic/LSB-Core-generic/lsbrelease.html
  73
  74     that lsb_release emitted, as strings.
  75
  76     Returns a tuple (distname,version). Distname is what LSB calls a
  77     "distributor id", e.g. "Ubuntu".  Version is what LSB calls a "release",
  78     e.g. "8.04".
  79
  80     A version of this has been submitted to python as a patch for the standard
  81     library module "platform":
  82
  83     http://bugs.python.org/issue3937
  84     """
  85     global _distname,_version
  86     if _distname and _version:
  87         return (_distname, _version)
  88
  89     try:
  90         etclsbrel = open("/etc/lsb-release", "rU")
  91         for line in etclsbrel:
  92             m = _distributor_id_file_re.search(line)
  93             if m:
  94                 _distname = m.group(1).strip()
  95                 if _distname and _version:
  96                     return (_distname, _version)
  97             m = _release_file_re.search(line)
  98             if m:
  99                 _version = m.group(1).strip()
 100                 if _distname and _version:
 101                     return (_distname, _version)
 102     except EnvironmentError:
 103         pass
 104
 105     (_distname, _version) = platform.dist()[:2]
 106     if _distname and _version:
 107         return (_distname, _version)
 108
 109     if os.path.isfile("/usr/bin/lsb_release") or os.path.isfile("/bin/lsb_release"):
 110         try:
 111             p = subprocess.Popen(["lsb_release", "--all"], stdout=subprocess.PIPE, stderr=subprocess.PIPE)
 112             rc = p.wait()
 113             if rc == 0:
 114                 for line in p.stdout.readlines():
 115                     m = _distributor_id_cmdline_re.search(line)
 116                     if m:
 117                         _distname = m.group(1).strip()
 118                         if _distname and _version:
 119                             return (_distname, _version)
 120
 121                     m = _release_cmdline_re.search(p.stdout.read())
 122                     if m:
 123                         _version = m.group(1).strip()
 124                         if _distname and _version:
 125                             return (_distname, _version)
 126         except EnvironmentError:
 127             pass
 128
 129     if os.path.exists("/etc/arch-release"):
 130         return ("Arch_Linux", "")
 131
 132     return (_distname,_version)
 133
 134 def get_platform():
 135     # Our version of platform.platform(), telling us both less and more than the
 136     # Python Standard Library's version does.
 137     # We omit details such as the Linux kernel version number, but we add a
 138     # more detailed and correct rendition of the Linux distribution and
 139     # distribution-version.
 140     if "linux" in platform.system().lower():
 141         return platform.system()+"-"+"_".join(get_linux_distro())+"-"+platform.machine()+"-"+"_".join([x for x in platform.architecture() if x])
 142     else:
 143         return platform.platform()
 144
 145
 146 from allmydata.util import verlib
 147 def normalized_version(verstr, what=None):
 148     try:
 149         return verlib.NormalizedVersion(verlib.suggest_normalized_version(verstr))
 150     except (StandardError, verlib.IrrationalVersionError):
 151         cls, value, trace = sys.exc_info()
 152         raise PackagingError, ("could not parse %s due to %s: %s"
 153                                % (what or repr(verstr), cls.__name__, value)), trace
 154
 155 def get_openssl_version():
 156     try:
 157         from OpenSSL import SSL
 158         return extract_openssl_version(SSL)
 159     except Exception:
 160         return ("unknown", None, None)
 161
 162 def extract_openssl_version(ssl_module):
 163     openssl_version = ssl_module.SSLeay_version(ssl_module.SSLEAY_VERSION)
 164     if openssl_version.startswith('OpenSSL '):
 165         openssl_version = openssl_version[8 :]
 166
 167     (version, _, comment) = openssl_version.partition(' ')
 168
 169     try:
 170         openssl_cflags = ssl_module.SSLeay_version(ssl_module.SSLEAY_CFLAGS)
 171         if '-DOPENSSL_NO_HEARTBEATS' in openssl_cflags.split(' '):
 172             comment += ", no heartbeats"
 173     except Exception:
 174         pass
 175
 176     return (version, None, comment if comment else None)
 177
 178 def get_package_versions_and_locations():
 179     import warnings
 180     from _auto_deps import package_imports, global_deprecation_messages, deprecation_messages, \
 181         runtime_warning_messages, warning_imports
 182
 183     def package_dir(srcfile):
 184         return os.path.dirname(os.path.dirname(os.path.normcase(os.path.realpath(srcfile))))
 185
 186     # pkg_resources.require returns the distribution that pkg_resources attempted to put
 187     # on sys.path, which can differ from the one that we actually import due to #1258,
 188     # or any other bug that causes sys.path to be set up incorrectly. Therefore we
 189     # must import the packages in order to check their versions and paths.
 190
 191     # This is to suppress all UserWarnings and various DeprecationWarnings and RuntimeWarnings
 192     # (listed in _auto_deps.py).
 193
 194     warnings.filterwarnings("ignore", category=UserWarning, append=True)
 195
 196     for msg in global_deprecation_messages + deprecation_messages:
 197         warnings.filterwarnings("ignore", category=DeprecationWarning, message=msg, append=True)
 198     for msg in runtime_warning_messages:
 199         warnings.filterwarnings("ignore", category=RuntimeWarning, message=msg, append=True)
 200     try:
 201         for modulename in warning_imports:
 202             try:
 203                 __import__(modulename)
 204             except ImportError:
 205                 pass
 206     finally:
 207         # Leave suppressions for UserWarnings and global_deprecation_messages active.
 208         for ign in runtime_warning_messages + deprecation_messages:
 209             warnings.filters.pop()
 210
 211     packages = []
 212
 213     def get_version(module):
 214         if hasattr(module, '__version__'):
 215             return str(getattr(module, '__version__'))
 216         elif hasattr(module, 'version'):
 217             ver = getattr(module, 'version')
 218             if isinstance(ver, tuple):
 219                 return '.'.join(map(str, ver))
 220             else:
 221                 return str(ver)
 222         else:
 223             return 'unknown'
 224
 225     for pkgname, modulename in [(__appname__, 'allmydata')] + package_imports:
 226         if modulename:
 227             try:
 228                 __import__(modulename)
 229                 module = sys.modules[modulename]
 230             except ImportError:
 231                 etype, emsg, etrace = sys.exc_info()
 232                 trace_info = (etype, str(emsg), ([None] + traceback.extract_tb(etrace))[-1])
 233                 packages.append( (pkgname, (None, None, trace_info)) )
 234             else:
 235                 comment = None
 236                 if pkgname == __appname__:
 237                     comment = "%s: %s" % (branch, full_version)
 238                 elif pkgname == 'setuptools' and hasattr(module, '_distribute'):
 239                     # distribute does not report its version in any module variables
 240                     comment = 'distribute'
 241                 packages.append( (pkgname, (get_version(module), package_dir(module.__file__), comment)) )
 242         elif pkgname == 'python':
 243             packages.append( (pkgname, (platform.python_version(), sys.executable, None)) )
 244         elif pkgname == 'platform':
 245             packages.append( (pkgname, (get_platform(), None, None)) )
 246         elif pkgname == 'OpenSSL':
 247             packages.append( (pkgname, get_openssl_version()) )
 248
 249     return packages
 250
 251
 252 def check_requirement(req, vers_and_locs):
 253     # We support only conjunctions of <=, >=, and !=
 254
 255     reqlist = req.split(',')
 256     name = reqlist[0].split('<=')[0].split('>=')[0].split('!=')[0].strip(' ').split('[')[0]
 257     if name not in vers_and_locs:
 258         raise PackagingError("no version info for %s" % (name,))
 259     if req.strip(' ') == name:
 260         return
 261     (actual, location, comment) = vers_and_locs[name]
 262     if actual is None:
 263         # comment is (type, message, (filename, line number, function name, text)) for the original ImportError
 264         raise ImportError("for requirement %r: %s" % (req, comment))
 265     if actual == 'unknown':
 266         return
 267     actualver = normalized_version(actual, what="actual version %r of %s from %r" % (actual, name, location))
 268
 269     if not match_requirement(req, reqlist, actualver):
 270         msg = ("We require %s, but could only find version %s.\n" % (req, actual))
 271         if location and location != 'unknown':
 272             msg += "The version we found is from %r.\n" % (location,)
 273         msg += ("To resolve this problem, uninstall that version, either using your\n"
 274                 "operating system's package manager or by moving aside the directory.")
 275         raise PackagingError(msg)
 276
 277
 278 def match_requirement(req, reqlist, actualver):
 279     for r in reqlist:
 280         s = r.split('<=')
 281         if len(s) == 2:
 282             required = s[1].strip(' ')
 283             if not (actualver <= normalized_version(required, what="required maximum version %r in %r" % (required, req))):
 284                 return False  # maximum requirement not met
 285         else:
 286             s = r.split('>=')
 287             if len(s) == 2:
 288                 required = s[1].strip(' ')
 289                 if not (actualver >= normalized_version(required, what="required minimum version %r in %r" % (required, req))):
 290                     return False  # minimum requirement not met
 291             else:
 292                 s = r.split('!=')
 293                 if len(s) == 2:
 294                     required = s[1].strip(' ')
 295                     if not (actualver != normalized_version(required, what="excluded version %r in %r" % (required, req))):
 296                         return False  # not-equal requirement not met
 297                 else:
 298                     raise PackagingError("no version info or could not understand requirement %r" % (req,))
 299
 300     return True
 301
 302
 303 _vers_and_locs_list = get_package_versions_and_locations()
 304
 305
 306 def cross_check_pkg_resources_versus_import():
 307     """This function returns a list of errors due to any failed cross-checks."""
 308
 309     import pkg_resources
 310     from _auto_deps import install_requires
 311
 312     pkg_resources_vers_and_locs = dict([(p.project_name.lower(), (str(p.version), p.location))
 313                                         for p in pkg_resources.require(install_requires)])
 314
 315     return cross_check(pkg_resources_vers_and_locs, _vers_and_locs_list)
 316
 317
 318 def cross_check(pkg_resources_vers_and_locs, imported_vers_and_locs_list):
 319     """This function returns a list of errors due to any failed cross-checks."""
 320
 321     from _auto_deps import not_import_versionable, ignorable
 322
 323     errors = []
 324     not_pkg_resourceable = ['python', 'platform', __appname__.lower(), 'openssl']
 325
 326     for name, (imp_ver, imp_loc, imp_comment) in imported_vers_and_locs_list:
 327         name = name.lower()
 328         if name not in not_pkg_resourceable:
 329             if name not in pkg_resources_vers_and_locs:
 330                 if name == "setuptools" and "distribute" in pkg_resources_vers_and_locs:
 331                     pr_ver, pr_loc = pkg_resources_vers_and_locs["distribute"]
 332                     if not (os.path.normpath(os.path.realpath(pr_loc)) == os.path.normpath(os.path.realpath(imp_loc))
 333                             and imp_comment == "distribute"):
 334                         errors.append("Warning: dependency 'setuptools' found to be version %r of 'distribute' from %r "
 335                                       "by pkg_resources, but 'import setuptools' gave version %r [%s] from %r. "
 336                                       "A version mismatch is expected, but a location mismatch is not."
 337                                       % (pr_ver, pr_loc, imp_ver, imp_comment or 'probably *not* distribute', imp_loc))
 338                 else:
 339                     errors.append("Warning: dependency %r (version %r imported from %r) was not found by pkg_resources."
 340                                   % (name, imp_ver, imp_loc))
 341                 continue
 342
 343             pr_ver, pr_loc = pkg_resources_vers_and_locs[name]
 344             if imp_ver is None and imp_loc is None:
 345                 errors.append("Warning: dependency %r could not be imported. pkg_resources thought it should be possible "
 346                               "to import version %r from %r.\nThe exception trace was %r."
 347                               % (name, pr_ver, pr_loc, imp_comment))
 348                 continue
 349
 350             try:
 351                 pr_normver = normalized_version(pr_ver)
 352             except Exception, e:
 353                 errors.append("Warning: version number %r found for dependency %r by pkg_resources could not be parsed. "
 354                               "The version found by import was %r from %r. "
 355                               "pkg_resources thought it should be found at %r. "
 356                               "The exception was %s: %s"
 357                               % (pr_ver, name, imp_ver, imp_loc, pr_loc, e.__class__.__name__, e))
 358             else:
 359                 if imp_ver == 'unknown':
 360                     if name not in not_import_versionable:
 361                         errors.append("Warning: unexpectedly could not find a version number for dependency %r imported from %r. "
 362                                       "pkg_resources thought it should be version %r at %r."
 363                                       % (name, imp_loc, pr_ver, pr_loc))
 364                 else:
 365                     try:
 366                         imp_normver = normalized_version(imp_ver)
 367                     except Exception, e:
 368                         errors.append("Warning: version number %r found for dependency %r (imported from %r) could not be parsed. "
 369                                       "pkg_resources thought it should be version %r at %r. "
 370                                       "The exception was %s: %s"
 371                                       % (imp_ver, name, imp_loc, pr_ver, pr_loc, e.__class__.__name__, e))
 372                     else:
 373                         if pr_ver == 'unknown' or (pr_normver != imp_normver):
 374                             if not os.path.normpath(os.path.realpath(pr_loc)) == os.path.normpath(os.path.realpath(imp_loc)):
 375                                 errors.append("Warning: dependency %r found to have version number %r (normalized to %r, from %r) "
 376                                               "by pkg_resources, but version %r (normalized to %r, from %r) by import."
 377                                               % (name, pr_ver, str(pr_normver), pr_loc, imp_ver, str(imp_normver), imp_loc))
 378
 379     imported_packages = set([p.lower() for (p, _) in imported_vers_and_locs_list])
 380     extra_vers_and_locs_list = []
 381     for pr_name, (pr_ver, pr_loc) in pkg_resources_vers_and_locs.iteritems():
 382         if pr_name not in imported_packages and pr_name not in ignorable:
 383             extra_vers_and_locs_list.append( (pr_name, (pr_ver, pr_loc, "according to pkg_resources")) )
 384
 385     return errors, extra_vers_and_locs_list
 386
 387
 388 def get_error_string(errors, debug=False):
 389     from allmydata._auto_deps import install_requires
 390
 391     msg = "\n%s\n" % ("\n".join(errors),)
 392     if debug:
 393         msg += ("\n"
 394                 "For debugging purposes, the PYTHONPATH was\n"
 395                 "  %r\n"
 396                 "install_requires was\n"
 397                 "  %r\n"
 398                 "sys.path after importing pkg_resources was\n"
 399                 "  %s\n"
 400                 % (os.environ.get('PYTHONPATH'), install_requires, (os.pathsep+"\n  ").join(sys.path)) )
 401     return msg
 402
 403 def check_all_requirements():
 404     """This function returns a list of errors due to any failed checks."""
 405
 406     from allmydata._auto_deps import install_requires
 407
 408     errors = []
 409
 410     # We require at least 2.6 on all platforms.
 411     # (On Python 3, we'll have failed long before this point.)
 412     if sys.version_info < (2, 6):
 413         try:
 414             version_string = ".".join(map(str, sys.version_info))
 415         except Exception:
 416             version_string = repr(sys.version_info)
 417         errors.append("Tahoe-LAFS currently requires Python v2.6 or greater (but less than v3), not %s"
 418                       % (version_string,))
 419
 420     vers_and_locs = dict(_vers_and_locs_list)
 421     for requirement in install_requires:
 422         try:
 423             check_requirement(requirement, vers_and_locs)
 424         except (ImportError, PackagingError), e:
 425             errors.append("%s: %s" % (e.__class__.__name__, e))
 426
 427     if errors:
 428         raise PackagingError(get_error_string(errors, debug=True))
 429
 430 check_all_requirements()
 431
 432
 433 def get_package_versions():
 434     return dict([(k, v) for k, (v, l, c) in _vers_and_locs_list])
 435
 436 def get_package_locations():
 437     return dict([(k, l) for k, (v, l, c) in _vers_and_locs_list])
 438
 439 def get_package_versions_string(show_paths=False, debug=False):
 440     errors = []
 441     if not hasattr(sys, 'frozen'):
 442         global _vers_and_locs_list
 443         errors, extra_vers_and_locs_list = cross_check_pkg_resources_versus_import()
 444         _vers_and_locs_list += extra_vers_and_locs_list
 445
 446     res = []
 447     for p, (v, loc, comment) in _vers_and_locs_list:
 448         info = str(p) + ": " + str(v)
 449         if comment:
 450             info = info + " [%s]" % str(comment)
 451         if show_paths:
 452             info = info + " (%s)" % str(loc)
 453         res.append(info)
 454
 455     output = "\n".join(res) + "\n"
 456
 457     if errors:
 458         output += get_error_string(errors, debug=debug)
 459
 460     return output