src/allmydata/__init__.py

   1 """
   2 Decentralized storage grid.
   3
   4 community web site: U{http://tahoe-lafs.org/}
   5 """
   6
   7 class PackagingError(EnvironmentError):
   8     """
   9     Raised when there is an error in packaging of Tahoe-LAFS or its
  10     dependencies which makes it impossible to proceed safely.
  11     """
  12     pass
  13
  14 __version__ = "unknown"
  15 try:
  16     from allmydata._version import __version__
  17 except ImportError:
  18     # We're running in a tree that hasn't run "./setup.py darcsver", and didn't
  19     # come with a _version.py, so we don't know what our version is. This should
  20     # not happen very often.
  21     pass
  22
  23 __appname__ = "unknown"
  24 try:
  25     from allmydata._appname import __appname__
  26 except ImportError:
  27     # We're running in a tree that hasn't run "./setup.py".  This shouldn't happen.
  28     pass
  29
  30 # __full_version__ is the one that you ought to use when identifying yourself in the
  31 # "application" part of the Tahoe versioning scheme:
  32 # http://allmydata.org/trac/tahoe-lafs/wiki/Versioning
  33 __full_version__ = __appname__ + '/' + str(__version__)
  34
  35 import os, platform, re, subprocess, sys, traceback
  36 _distributor_id_cmdline_re = re.compile("(?:Distributor ID:)\s*(.*)", re.I)
  37 _release_cmdline_re = re.compile("(?:Release:)\s*(.*)", re.I)
  38
  39 _distributor_id_file_re = re.compile("(?:DISTRIB_ID\s*=)\s*(.*)", re.I)
  40 _release_file_re = re.compile("(?:DISTRIB_RELEASE\s*=)\s*(.*)", re.I)
  41
  42 global _distname,_version
  43 _distname = None
  44 _version = None
  45
  46 def get_linux_distro():
  47     """ Tries to determine the name of the Linux OS distribution name.
  48
  49     First, try to parse a file named "/etc/lsb-release".  If it exists, and
  50     contains the "DISTRIB_ID=" line and the "DISTRIB_RELEASE=" line, then return
  51     the strings parsed from that file.
  52
  53     If that doesn't work, then invoke platform.dist().
  54
  55     If that doesn't work, then try to execute "lsb_release", as standardized in
  56     2001:
  57
  58     http://refspecs.freestandards.org/LSB_1.0.0/gLSB/lsbrelease.html
  59
  60     The current version of the standard is here:
  61
  62     http://refspecs.freestandards.org/LSB_3.2.0/LSB-Core-generic/LSB-Core-generic/lsbrelease.html
  63
  64     that lsb_release emitted, as strings.
  65
  66     Returns a tuple (distname,version). Distname is what LSB calls a
  67     "distributor id", e.g. "Ubuntu".  Version is what LSB calls a "release",
  68     e.g. "8.04".
  69
  70     A version of this has been submitted to python as a patch for the standard
  71     library module "platform":
  72
  73     http://bugs.python.org/issue3937
  74     """
  75     global _distname,_version
  76     if _distname and _version:
  77         return (_distname, _version)
  78
  79     try:
  80         etclsbrel = open("/etc/lsb-release", "rU")
  81         for line in etclsbrel:
  82             m = _distributor_id_file_re.search(line)
  83             if m:
  84                 _distname = m.group(1).strip()
  85                 if _distname and _version:
  86                     return (_distname, _version)
  87             m = _release_file_re.search(line)
  88             if m:
  89                 _version = m.group(1).strip()
  90                 if _distname and _version:
  91                     return (_distname, _version)
  92     except EnvironmentError:
  93         pass
  94
  95     (_distname, _version) = platform.dist()[:2]
  96     if _distname and _version:
  97         return (_distname, _version)
  98
  99     try:
 100         p = subprocess.Popen(["lsb_release", "--all"], stdout=subprocess.PIPE, stderr=subprocess.PIPE)
 101         rc = p.wait()
 102         if rc == 0:
 103             for line in p.stdout.readlines():
 104                 m = _distributor_id_cmdline_re.search(line)
 105                 if m:
 106                     _distname = m.group(1).strip()
 107                     if _distname and _version:
 108                         return (_distname, _version)
 109
 110                 m = _release_cmdline_re.search(p.stdout.read())
 111                 if m:
 112                     _version = m.group(1).strip()
 113                     if _distname and _version:
 114                         return (_distname, _version)
 115     except EnvironmentError:
 116         pass
 117
 118     if os.path.exists("/etc/arch-release"):
 119         return ("Arch_Linux", "")
 120
 121     return (_distname,_version)
 122
 123 def get_platform():
 124     # Our version of platform.platform(), telling us both less and more than the
 125     # Python Standard Library's version does.
 126     # We omit details such as the Linux kernel version number, but we add a
 127     # more detailed and correct rendition of the Linux distribution and
 128     # distribution-version.
 129     if "linux" in platform.system().lower():
 130         return platform.system()+"-"+"_".join(get_linux_distro())+"-"+platform.machine()+"-"+"_".join([x for x in platform.architecture() if x])
 131     else:
 132         return platform.platform()
 133
 134
 135 from allmydata.util import verlib
 136 def normalized_version(verstr, what=None):
 137     try:
 138         return verlib.NormalizedVersion(verlib.suggest_normalized_version(verstr))
 139     except (StandardError, verlib.IrrationalVersionError):
 140         cls, value, trace = sys.exc_info()
 141         raise PackagingError, ("could not parse %s due to %s: %s"
 142                                % (what or repr(verstr), cls.__name__, value)), trace
 143
 144
 145 def get_package_versions_and_locations():
 146     import warnings
 147     from _auto_deps import package_imports, deprecation_messages, \
 148         user_warning_messages, warning_imports
 149
 150     def package_dir(srcfile):
 151         return os.path.dirname(os.path.dirname(os.path.normcase(os.path.realpath(srcfile))))
 152
 153     # pkg_resources.require returns the distribution that pkg_resources attempted to put
 154     # on sys.path, which can differ from the one that we actually import due to #1258,
 155     # or any other bug that causes sys.path to be set up incorrectly. Therefore we
 156     # must import the packages in order to check their versions and paths.
 157
 158     # This warning is generated by twisted, PyRex, and possibly other packages,
 159     # but can happen at any time, not only when they are imported. See
 160     # http://tahoe-lafs.org/trac/tahoe-lafs/ticket/1129 .
 161     warnings.filterwarnings("ignore", category=DeprecationWarning,
 162         message="BaseException.message has been deprecated as of Python 2.6",
 163         append=True)
 164
 165     # This is to suppress various DeprecationWarnings and UserWarnings that
 166     # occur when modules are imported.  See #859, #1435 and
 167     # http://divmod.org/trac/ticket/2994 .
 168
 169     for msg in deprecation_messages:
 170         warnings.filterwarnings("ignore", category=DeprecationWarning, message=msg, append=True)
 171     for msg in user_warning_messages:
 172         warnings.filterwarnings("ignore", category=UserWarning, message=msg, append=True)
 173     try:
 174         for modulename in warning_imports:
 175             try:
 176                 __import__(modulename)
 177             except ImportError:
 178                 pass
 179     finally:
 180         for ign in user_warning_messages:
 181             warnings.filters.pop()
 182         for ign in deprecation_messages:
 183             warnings.filters.pop()
 184
 185     packages = []
 186
 187     def get_version(module, attr):
 188         return str(getattr(module, attr, 'unknown'))
 189
 190     for pkgname, modulename in [(__appname__, 'allmydata')] + package_imports:
 191         if modulename:
 192             try:
 193                 __import__(modulename)
 194                 module = sys.modules[modulename]
 195             except ImportError:
 196                 etype, emsg, etrace = sys.exc_info()
 197                 trace_info = (etype, str(emsg), ([None] + traceback.extract_tb(etrace))[-1])
 198                 packages.append( (pkgname, (None, None, trace_info)) )
 199             else:
 200                 if 'sqlite' in pkgname:
 201                     packages.append( (pkgname, (get_version(module, 'version'), package_dir(module.__file__),
 202                                                'sqlite %s' % (get_version(module, 'sqlite_version'),))) )
 203                 else:
 204                     comment = None
 205                     if pkgname == 'setuptools' and hasattr(module, '_distribute'):
 206                         # distribute does not report its version in any module variables
 207                         comment = 'distribute'
 208                     packages.append( (pkgname, (get_version(module, '__version__'), package_dir(module.__file__), comment)) )
 209         elif pkgname == 'python':
 210             packages.append( (pkgname, (platform.python_version(), sys.executable, None)) )
 211         elif pkgname == 'platform':
 212             packages.append( (pkgname, (get_platform(), None, None)) )
 213
 214     return packages
 215
 216
 217 def check_requirement(req, vers_and_locs):
 218     # TODO: check [] options
 219     # We support only disjunctions of <=, >=, and ==
 220
 221     reqlist = req.split(',')
 222     name = reqlist[0].split('<=')[0].split('>=')[0].split('==')[0].strip(' ').split('[')[0]
 223     if name not in vers_and_locs:
 224         raise PackagingError("no version info for %s" % (name,))
 225     if req.strip(' ') == name:
 226         return
 227     (actual, location, comment) = vers_and_locs[name]
 228     if actual is None:
 229         # comment is (type, message, (filename, line number, function name, text)) for the original ImportError
 230         raise ImportError("for requirement %r: %s" % (req, comment))
 231     if actual == 'unknown':
 232         return
 233     actualver = normalized_version(actual, what="actual version %r of %s from %r" % (actual, name, location))
 234
 235     for r in reqlist:
 236         s = r.split('<=')
 237         if len(s) == 2:
 238             required = s[1].strip(' ')
 239             if actualver <= normalized_version(required, what="required maximum version %r in %r" % (required, req)):
 240                 return  # maximum requirement met
 241         else:
 242             s = r.split('>=')
 243             if len(s) == 2:
 244                 required = s[1].strip(' ')
 245                 if actualver >= normalized_version(required, what="required minimum version %r in %r" % (required, req)):
 246                     return  # minimum requirement met
 247             else:
 248                 s = r.split('==')
 249                 if len(s) == 2:
 250                     required = s[1].strip(' ')
 251                     if actualver == normalized_version(required, what="required exact version %r in %r" % (required, req)):
 252                         return  # exact requirement met
 253                 else:
 254                     raise PackagingError("no version info or could not understand requirement %r" % (req,))
 255
 256     msg = ("We require %s, but could only find version %s.\n" % (req, actual))
 257     if location and location != 'unknown':
 258         msg += "The version we found is from %r.\n" % (location,)
 259     msg += ("To resolve this problem, uninstall that version, either using your\n"
 260             "operating system's package manager or by moving aside the directory.")
 261     raise PackagingError(msg)
 262
 263
 264 _vers_and_locs_list = get_package_versions_and_locations()
 265
 266
 267 def cross_check_pkg_resources_versus_import():
 268     """This function returns a list of errors due to any failed cross-checks."""
 269
 270     import pkg_resources
 271     from _auto_deps import install_requires
 272
 273     pkg_resources_vers_and_locs = dict([(p.project_name.lower(), (str(p.version), p.location))
 274                                         for p in pkg_resources.require(install_requires)])
 275
 276     return cross_check(pkg_resources_vers_and_locs, _vers_and_locs_list)
 277
 278
 279 def cross_check(pkg_resources_vers_and_locs, imported_vers_and_locs_list):
 280     """This function returns a list of errors due to any failed cross-checks."""
 281
 282     errors = []
 283     not_pkg_resourceable = set(['sqlite3', 'python', 'platform', __appname__.lower()])
 284     not_import_versionable = set(['zope.interface', 'mock', 'pyasn1'])
 285     ignorable = set(['argparse', 'pyutil', 'zbase32', 'distribute', 'twisted-web', 'twisted-core'])
 286
 287     for name, (imp_ver, imp_loc, imp_comment) in imported_vers_and_locs_list:
 288         name = name.lower()
 289         if name not in not_pkg_resourceable:
 290             if name not in pkg_resources_vers_and_locs:
 291                 if name == "setuptools" and "distribute" in pkg_resources_vers_and_locs:
 292                     pr_ver, pr_loc = pkg_resources_vers_and_locs["distribute"]
 293                     if not (os.path.normpath(os.path.realpath(pr_loc)) == os.path.normpath(os.path.realpath(imp_loc))
 294                             and imp_comment == "distribute"):
 295                         errors.append("Warning: dependency 'setuptools' found to be version %r of 'distribute' from %r "
 296                                       "by pkg_resources, but 'import setuptools' gave version %r [%s] from %r. "
 297                                       "A version mismatch is expected, but a location mismatch is not."
 298                                       % (pr_ver, pr_loc, imp_ver, imp_comment or 'probably *not* distribute', imp_loc))
 299                 else:
 300                     errors.append("Warning: dependency %r (version %r imported from %r) was not found by pkg_resources."
 301                                   % (name, imp_ver, imp_loc))
 302                 continue
 303
 304             pr_ver, pr_loc = pkg_resources_vers_and_locs[name]
 305             try:
 306                 pr_normver = normalized_version(pr_ver)
 307             except Exception, e:
 308                 errors.append("Warning: version number %r found for dependency %r by pkg_resources could not be parsed. "
 309                               "The version found by import was %r from %r. "
 310                               "pkg_resources thought it should be found at %r. "
 311                               "The exception was %s: %s"
 312                               % (pr_ver, name, imp_ver, imp_loc, pr_loc, e.__class__.__name__, e))
 313             else:
 314                 if imp_ver == 'unknown':
 315                     if name not in not_import_versionable:
 316                         errors.append("Warning: unexpectedly could not find a version number for dependency %r imported from %r. "
 317                                       "pkg_resources thought it should be version %r at %r."
 318                                       % (name, imp_loc, pr_ver, pr_loc))
 319                 else:
 320                     try:
 321                         imp_normver = normalized_version(imp_ver)
 322                     except Exception, e:
 323                         errors.append("Warning: version number %r found for dependency %r (imported from %r) could not be parsed. "
 324                                       "pkg_resources thought it should be version %r at %r. "
 325                                       "The exception was %s: %s"
 326                                       % (imp_ver, name, imp_loc, pr_ver, pr_loc, e.__class__.__name__, e))
 327                     else:
 328                         if pr_ver == 'unknown' or (pr_normver != imp_normver):
 329                             if not os.path.normpath(os.path.realpath(pr_loc)) == os.path.normpath(os.path.realpath(imp_loc)):
 330                                 errors.append("Warning: dependency %r found to have version number %r (normalized to %r, from %r) "
 331                                               "by pkg_resources, but version %r (normalized to %r, from %r) by import."
 332                                               % (name, pr_ver, str(pr_normver), pr_loc, imp_ver, str(imp_normver), imp_loc))
 333
 334     imported_packages = set([p.lower() for (p, _) in imported_vers_and_locs_list])
 335     for pr_name, (pr_ver, pr_loc) in pkg_resources_vers_and_locs.iteritems():
 336         if pr_name not in imported_packages and pr_name not in ignorable:
 337             errors.append("Warning: dependency %r (version %r) found by pkg_resources not found by import."
 338                           % (pr_name, pr_ver))
 339
 340     return errors
 341
 342
 343 def get_error_string(errors, debug=False):
 344     from allmydata._auto_deps import install_requires
 345
 346     msg = "\n%s\n" % ("\n".join(errors),)
 347     if debug:
 348         msg += ("\n"
 349                 "For debugging purposes, the PYTHONPATH was\n"
 350                 "  %r\n"
 351                 "install_requires was\n"
 352                 "  %r\n"
 353                 "sys.path after importing pkg_resources was\n"
 354                 "  %s\n"
 355                 % (os.environ.get('PYTHONPATH'), install_requires, (os.pathsep+"\n  ").join(sys.path)) )
 356     return msg
 357
 358 def check_all_requirements():
 359     """This function returns a list of errors due to any failed checks."""
 360
 361     from allmydata._auto_deps import install_requires
 362
 363     errors = []
 364
 365     # we require 2.4.4 on non-UCS-2, non-Redhat builds to avoid <http://www.python.org/news/security/PSF-2006-001/>
 366     # we require 2.4.3 on non-UCS-2 Redhat, because 2.4.3 is common on Redhat-based distros and will have patched the above bug
 367     # we require at least 2.4.2 in any case to avoid a bug in the base64 module: <http://bugs.python.org/issue1171487>
 368     if sys.maxunicode == 65535:
 369         if sys.version_info < (2, 4, 2) or sys.version_info[0] > 2:
 370             errors.append("Tahoe-LAFS current requires Python v2.4.2 or greater "
 371                           "for a UCS-2 build (but less than v3), not %r" %
 372                           (sys.version_info,))
 373     elif platform.platform().lower().find('redhat') >= 0:
 374         if sys.version_info < (2, 4, 3) or sys.version_info[0] > 2:
 375             errors.append("Tahoe-LAFS current requires Python v2.4.3 or greater "
 376                           "on Redhat-based distributions (but less than v3), not %r" %
 377                           (sys.version_info,))
 378     else:
 379         if sys.version_info < (2, 4, 4) or sys.version_info[0] > 2:
 380             errors.append("Tahoe-LAFS current requires Python v2.4.4 or greater "
 381                           "for a non-UCS-2 build (but less than v3), not %r" %
 382                           (sys.version_info,))
 383
 384     vers_and_locs = dict(_vers_and_locs_list)
 385     for requirement in install_requires:
 386         try:
 387             check_requirement(requirement, vers_and_locs)
 388         except (ImportError, PackagingError), e:
 389             errors.append("%s: %s" % (e.__class__.__name__, e))
 390
 391     if errors:
 392         raise PackagingError(get_error_string(errors, debug=True))
 393
 394 check_all_requirements()
 395
 396
 397 def get_package_versions():
 398     return dict([(k, v) for k, (v, l, c) in _vers_and_locs_list])
 399
 400 def get_package_locations():
 401     return dict([(k, l) for k, (v, l, c) in _vers_and_locs_list])
 402
 403 def get_package_versions_string(show_paths=False, debug=False):
 404     res = []
 405     for p, (v, loc, comment) in _vers_and_locs_list:
 406         info = str(p) + ": " + str(v)
 407         if comment:
 408             info = info + " [%s]" % str(comment)
 409         if show_paths:
 410             info = info + " (%s)" % str(loc)
 411         res.append(info)
 412
 413     output = ",\n".join(res) + "\n"
 414
 415     if not hasattr(sys, 'frozen'):
 416         errors = cross_check_pkg_resources_versus_import()
 417         if errors:
 418             output += get_error_string(errors, debug=debug)
 419
 420     return output