src/allmydata/test/test_runner.py

   1 from twisted.trial import unittest
   2
   3 from twisted.python import usage, runtime
   4 from twisted.internet import threads
   5
   6 import os.path, re, sys, subprocess
   7 from cStringIO import StringIO
   8 from allmydata.util import fileutil, pollmixin
   9 from allmydata.util.encodingutil import unicode_to_argv, unicode_to_output, get_filesystem_encoding
  10 from allmydata.scripts import runner
  11
  12 from allmydata.test import common_util
  13 import allmydata
  14
  15 timeout = 240
  16
  17 def get_root_from_file(src):
  18     srcdir = os.path.dirname(os.path.dirname(os.path.normcase(os.path.realpath(src))))
  19
  20     root = os.path.dirname(srcdir)
  21     if os.path.basename(srcdir) == 'site-packages':
  22         if re.search(r'python.+\..+', os.path.basename(root)):
  23             root = os.path.dirname(root)
  24         root = os.path.dirname(root)
  25     elif os.path.basename(root) == 'src':
  26         root = os.path.dirname(root)
  27
  28     return root
  29
  30 srcfile = allmydata.__file__
  31 rootdir = get_root_from_file(srcfile)
  32
  33 if hasattr(sys, 'frozen'):
  34     bintahoe = os.path.join(rootdir, 'tahoe')
  35     if sys.platform == "win32" and os.path.exists(bintahoe + '.exe'):
  36         bintahoe += '.exe'
  37 else:
  38     bintahoe = os.path.join(rootdir, 'bin', 'tahoe')
  39     if sys.platform == "win32":
  40         bintahoe += '.pyscript'
  41         if not os.path.exists(bintahoe):
  42             alt_bintahoe = os.path.join(rootdir, 'Scripts', 'tahoe.pyscript')
  43             if os.path.exists(alt_bintahoe):
  44                 bintahoe = alt_bintahoe
  45
  46
  47 class RunBinTahoeMixin:
  48     def skip_if_cannot_run_bintahoe(self):
  49         if not os.path.exists(bintahoe):
  50             raise unittest.SkipTest("The bin/tahoe script isn't to be found in the expected location (%s), and I don't want to test a 'tahoe' executable that I find somewhere else, in case it isn't the right executable for this version of Tahoe. Perhaps running 'setup.py build' again will help." % (bintahoe,))
  51
  52     def skip_if_cannot_daemonize(self):
  53         self.skip_if_cannot_run_bintahoe()
  54         if runtime.platformType == "win32":
  55             # twistd on windows doesn't daemonize. cygwin should work normally.
  56             raise unittest.SkipTest("twistd does not fork under windows")
  57
  58     def run_bintahoe(self, args, stdin=None, python_options=[], env=None):
  59         self.skip_if_cannot_run_bintahoe()
  60
  61         if hasattr(sys, 'frozen'):
  62             if python_options:
  63                 raise unittest.SkipTest("This test doesn't apply to frozen builds.")
  64             command = [bintahoe] + args
  65         else:
  66             command = [sys.executable] + python_options + [bintahoe] + args
  67
  68         if stdin is None:
  69             stdin_stream = None
  70         else:
  71             stdin_stream = subprocess.PIPE
  72
  73         def _run():
  74             p = subprocess.Popen(command, stdin=stdin_stream, stdout=subprocess.PIPE, stderr=subprocess.PIPE, env=env)
  75             (out, err) = p.communicate(stdin)
  76             return (out, err, p.returncode)
  77         return threads.deferToThread(_run)
  78
  79
  80 class BinTahoe(common_util.SignalMixin, unittest.TestCase, RunBinTahoeMixin):
  81     def _check_right_code(self, file_to_check):
  82         root_to_check = get_root_from_file(file_to_check)
  83         if os.path.basename(root_to_check) == 'dist':
  84             root_to_check = os.path.dirname(root_to_check)
  85
  86         cwd = os.path.normcase(os.path.realpath("."))
  87         root_from_cwd = os.path.dirname(cwd)
  88         if os.path.basename(root_from_cwd) == 'src':
  89             root_from_cwd = os.path.dirname(root_from_cwd)
  90
  91         same = (root_from_cwd == root_to_check)
  92         if not same:
  93             try:
  94                 same = os.path.samefile(root_from_cwd, root_to_check)
  95             except AttributeError, e:
  96                 e  # hush pyflakes
  97
  98         if not same:
  99             msg = ("We seem to be testing the code at %r,\n"
 100                    "(according to the source filename %r),\n"
 101                    "but expected to be testing the code at %r.\n"
 102                    % (root_to_check, file_to_check, root_from_cwd))
 103
 104             root_from_cwdu = os.path.dirname(os.path.normcase(os.path.normpath(os.getcwdu())))
 105             if os.path.basename(root_from_cwdu) == u'src':
 106                 root_from_cwdu = os.path.dirname(root_from_cwdu)
 107
 108             if not isinstance(root_from_cwd, unicode) and root_from_cwd.decode(get_filesystem_encoding(), 'replace') != root_from_cwdu:
 109                 msg += ("However, this may be a false alarm because the current directory path\n"
 110                         "is not representable in the filesystem encoding. Please run the tests\n"
 111                         "from the root of the Tahoe-LAFS distribution at a non-Unicode path.")
 112                 raise unittest.SkipTest(msg)
 113             else:
 114                 msg += "Please run the tests from the root of the Tahoe-LAFS distribution."
 115                 self.fail(msg)
 116
 117     def test_the_right_code(self):
 118         self._check_right_code(srcfile)
 119
 120     def test_import_in_repl(self):
 121         d = self.run_bintahoe(["debug", "repl"],
 122                               stdin="import allmydata; print; print allmydata.__file__")
 123         def _cb(res):
 124             out, err, rc_or_sig = res
 125             self.failUnlessEqual(rc_or_sig, 0, str(res))
 126             lines = out.splitlines()
 127             self.failUnlessIn('>>>', lines[0], str(res))
 128             self._check_right_code(lines[1])
 129         d.addCallback(_cb)
 130         return d
 131
 132     def test_path(self):
 133         d = self.run_bintahoe(["--version-and-path"])
 134         def _cb(res):
 135             from allmydata import normalized_version
 136
 137             out, err, rc_or_sig = res
 138             self.failUnlessEqual(rc_or_sig, 0, str(res))
 139
 140             # Fail unless the allmydata-tahoe package is *this* version *and*
 141             # was loaded from *this* source directory.
 142
 143             required_verstr = str(allmydata.__version__)
 144
 145             self.failIfEqual(required_verstr, "unknown",
 146                              "We don't know our version, because this distribution didn't come "
 147                              "with a _version.py and 'setup.py darcsver' hasn't been run.")
 148
 149             srcdir = os.path.dirname(os.path.dirname(os.path.normcase(os.path.realpath(srcfile))))
 150             info = (res, allmydata.__appname__, required_verstr, srcdir)
 151
 152             appverpath = out.split(')')[0]
 153             (appver, path) = appverpath.split(' (')
 154             (app, ver) = appver.split(': ')
 155
 156             self.failUnlessEqual(app, allmydata.__appname__, info)
 157             self.failUnlessEqual(normalized_version(ver), normalized_version(required_verstr), info)
 158             self.failUnlessEqual(path, srcdir, info)
 159         d.addCallback(_cb)
 160         return d
 161
 162     def test_unicode_arguments_and_output(self):
 163         self.skip_if_cannot_run_bintahoe()
 164
 165         tricky = u"\u2621"
 166         try:
 167             tricky_arg = unicode_to_argv(tricky, mangle=True)
 168             tricky_out = unicode_to_output(tricky)
 169         except UnicodeEncodeError:
 170             raise unittest.SkipTest("A non-ASCII argument/output could not be encoded on this platform.")
 171
 172         d = self.run_bintahoe([tricky_arg])
 173         def _cb(res):
 174             out, err, rc_or_sig = res
 175             self.failUnlessEqual(rc_or_sig, 1, str(res))
 176             self.failUnlessIn("Unknown command: "+tricky_out, out)
 177         d.addCallback(_cb)
 178         return d
 179
 180     def test_run_with_python_options(self):
 181         # -t is a harmless option that warns about tabs.
 182         d = self.run_bintahoe(["--version"], python_options=["-t"])
 183         def _cb(res):
 184             out, err, rc_or_sig = res
 185             self.failUnlessEqual(rc_or_sig, 0, str(res))
 186             self.failUnless(out.startswith(allmydata.__appname__+':'), str(res))
 187         d.addCallback(_cb)
 188         return d
 189
 190     def test_version_no_noise(self):
 191         self.skip_if_cannot_run_bintahoe()
 192
 193         from allmydata import get_package_versions, normalized_version
 194         twisted_ver = get_package_versions()['Twisted']
 195
 196         if not normalized_version(twisted_ver) >= normalized_version('9.0.0'):
 197             raise unittest.SkipTest("We pass this test only with Twisted >= v9.0.0")
 198
 199         d = self.run_bintahoe(["--version"])
 200         def _cb(res):
 201             out, err, rc_or_sig = res
 202             self.failUnlessEqual(rc_or_sig, 0, str(res))
 203             self.failUnless(out.startswith(allmydata.__appname__+':'), str(res))
 204             self.failIfIn("DeprecationWarning", out, str(res))
 205             errlines = err.split("\n")
 206             self.failIf([True for line in errlines if (line != "" and "UserWarning: Unbuilt egg for setuptools" not in line
 207                                                                   and "from pkg_resources import load_entry_point" not in line)], str(res))
 208             if err != "":
 209                 raise unittest.SkipTest("This test is known not to pass on Ubuntu Lucid; see #1235.")
 210         d.addCallback(_cb)
 211         return d
 212
 213
 214 class CreateNode(unittest.TestCase):
 215     # exercise "tahoe create-node", create-introducer,
 216     # create-key-generator, and create-stats-gatherer, by calling the
 217     # corresponding code as a subroutine.
 218
 219     def workdir(self, name):
 220         basedir = os.path.join("test_runner", "CreateNode", name)
 221         fileutil.make_dirs(basedir)
 222         return basedir
 223
 224     def run_tahoe(self, argv):
 225         out,err = StringIO(), StringIO()
 226         rc = runner.runner(argv, stdout=out, stderr=err)
 227         return rc, out.getvalue(), err.getvalue()
 228
 229     def do_create(self, kind):
 230         basedir = self.workdir("test_" + kind)
 231         command = "create-" + kind
 232         is_client = kind in ("node", "client")
 233         tac = is_client and "tahoe-client.tac" or ("tahoe-" + kind + ".tac")
 234
 235         n1 = os.path.join(basedir, command + "-n1")
 236         argv = ["--quiet", command, "--basedir", n1]
 237         rc, out, err = self.run_tahoe(argv)
 238         self.failUnlessEqual(err, "")
 239         self.failUnlessEqual(out, "")
 240         self.failUnlessEqual(rc, 0)
 241         self.failUnless(os.path.exists(n1))
 242         self.failUnless(os.path.exists(os.path.join(n1, tac)))
 243
 244         if is_client:
 245             # tahoe.cfg should exist, and should have storage enabled for
 246             # 'create-node', and disabled for 'create-client'.
 247             tahoe_cfg = os.path.join(n1, "tahoe.cfg")
 248             self.failUnless(os.path.exists(tahoe_cfg))
 249             content = open(tahoe_cfg).read()
 250             if kind == "client":
 251                 self.failUnless(re.search(r"\n\[storage\]\n#.*\nenabled = false\n", content), content)
 252             else:
 253                 self.failUnless(re.search(r"\n\[storage\]\n#.*\nenabled = true\n", content), content)
 254                 self.failUnless("\nreserved_space = 1G\n" in content)
 255
 256         # creating the node a second time should be rejected
 257         rc, out, err = self.run_tahoe(argv)
 258         self.failIfEqual(rc, 0, str((out, err, rc)))
 259         self.failUnlessEqual(out, "")
 260         self.failUnless("is not empty." in err)
 261
 262         # Fail if there is a non-empty line that doesn't end with a
 263         # punctuation mark.
 264         for line in err.splitlines():
 265             self.failIf(re.search("[\S][^\.!?]$", line), (line,))
 266
 267         # test that the non --basedir form works too
 268         n2 = os.path.join(basedir, command + "-n2")
 269         argv = ["--quiet", command, n2]
 270         rc, out, err = self.run_tahoe(argv)
 271         self.failUnlessEqual(err, "")
 272         self.failUnlessEqual(out, "")
 273         self.failUnlessEqual(rc, 0)
 274         self.failUnless(os.path.exists(n2))
 275         self.failUnless(os.path.exists(os.path.join(n2, tac)))
 276
 277         # test the --node-directory form
 278         n3 = os.path.join(basedir, command + "-n3")
 279         argv = ["--quiet", command, "--node-directory", n3]
 280         rc, out, err = self.run_tahoe(argv)
 281         self.failUnlessEqual(err, "")
 282         self.failUnlessEqual(out, "")
 283         self.failUnlessEqual(rc, 0)
 284         self.failUnless(os.path.exists(n3))
 285         self.failUnless(os.path.exists(os.path.join(n3, tac)))
 286
 287         # make sure it rejects too many arguments
 288         argv = [command, "basedir", "extraarg"]
 289         self.failUnlessRaises(usage.UsageError,
 290                               runner.runner, argv,
 291                               run_by_human=False)
 292
 293         # when creating a non-client, there is no default for the basedir
 294         if not is_client:
 295             argv = [command]
 296             self.failUnlessRaises(usage.UsageError,
 297                                   runner.runner, argv,
 298                                   run_by_human=False)
 299
 300
 301     def test_node(self):
 302         self.do_create("node")
 303
 304     def test_client(self):
 305         # create-client should behave like create-node --no-storage.
 306         self.do_create("client")
 307
 308     def test_introducer(self):
 309         self.do_create("introducer")
 310
 311     def test_key_generator(self):
 312         self.do_create("key-generator")
 313
 314     def test_stats_gatherer(self):
 315         self.do_create("stats-gatherer")
 316
 317     def test_subcommands(self):
 318         # no arguments should trigger a command listing, via UsageError
 319         self.failUnlessRaises(usage.UsageError,
 320                               runner.runner,
 321                               [],
 322                               run_by_human=False)
 323
 324
 325 class RunNode(common_util.SignalMixin, unittest.TestCase, pollmixin.PollMixin,
 326               RunBinTahoeMixin):
 327     # exercise "tahoe start", for both introducer, client node, and
 328     # key-generator, by spawning "tahoe start" as a subprocess. This doesn't
 329     # get us figleaf-based line-level coverage, but it does a better job of
 330     # confirming that the user can actually run "./bin/tahoe start" and
 331     # expect it to work. This verifies that bin/tahoe sets up PYTHONPATH and
 332     # the like correctly.
 333
 334     # This doesn't work on cygwin (it hangs forever), so we skip this test
 335     # when we're on cygwin. It is likely that "tahoe start" itself doesn't
 336     # work on cygwin: twisted seems unable to provide a version of
 337     # spawnProcess which really works there.
 338
 339     def workdir(self, name):
 340         basedir = os.path.join("test_runner", "RunNode", name)
 341         fileutil.make_dirs(basedir)
 342         return basedir
 343
 344     def test_introducer(self):
 345         self.skip_if_cannot_daemonize()
 346         basedir = self.workdir("test_introducer")
 347         c1 = os.path.join(basedir, "c1")
 348         HOTLINE_FILE = os.path.join(c1, "suicide_prevention_hotline")
 349         TWISTD_PID_FILE = os.path.join(c1, "twistd.pid")
 350         INTRODUCER_FURL_FILE = os.path.join(c1, "introducer.furl")
 351
 352         d = self.run_bintahoe(["--quiet", "create-introducer", "--basedir", c1])
 353         def _cb(res):
 354             out, err, rc_or_sig = res
 355             self.failUnlessEqual(rc_or_sig, 0)
 356             # by writing this file, we get ten seconds before the node will
 357             # exit. This insures that even if the test fails (and the 'stop'
 358             # command doesn't work), the client should still terminate.
 359             open(HOTLINE_FILE, "w").write("")
 360             # now it's safe to start the node
 361         d.addCallback(_cb)
 362
 363         def _then_start_the_node(res):
 364             return self.run_bintahoe(["--quiet", "start", c1])
 365         d.addCallback(_then_start_the_node)
 366
 367         def _cb2(res):
 368             out, err, rc_or_sig = res
 369
 370             open(HOTLINE_FILE, "w").write("")
 371             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
 372             self.failUnlessEqual(rc_or_sig, 0, errstr)
 373             self.failUnlessEqual(out, "", errstr)
 374             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
 375
 376             # the parent (twistd) has exited. However, twistd writes the pid
 377             # from the child, not the parent, so we can't expect twistd.pid
 378             # to exist quite yet.
 379
 380             # the node is running, but it might not have made it past the
 381             # first reactor turn yet, and if we kill it too early, it won't
 382             # remove the twistd.pid file. So wait until it does something
 383             # that we know it won't do until after the first turn.
 384         d.addCallback(_cb2)
 385
 386         def _node_has_started():
 387             return os.path.exists(INTRODUCER_FURL_FILE)
 388         d.addCallback(lambda res: self.poll(_node_has_started))
 389
 390         def _started(res):
 391             open(HOTLINE_FILE, "w").write("")
 392             self.failUnless(os.path.exists(TWISTD_PID_FILE))
 393             # rm this so we can detect when the second incarnation is ready
 394             os.unlink(INTRODUCER_FURL_FILE)
 395             return self.run_bintahoe(["--quiet", "restart", c1])
 396         d.addCallback(_started)
 397
 398         def _then(res):
 399             out, err, rc_or_sig = res
 400             open(HOTLINE_FILE, "w").write("")
 401             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
 402             self.failUnlessEqual(rc_or_sig, 0, errstr)
 403             self.failUnlessEqual(out, "", errstr)
 404             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
 405         d.addCallback(_then)
 406
 407         # again, the second incarnation of the node might not be ready yet,
 408         # so poll until it is
 409         d.addCallback(lambda res: self.poll(_node_has_started))
 410
 411         # now we can kill it. TODO: On a slow machine, the node might kill
 412         # itself before we get a chance too, especially if spawning the
 413         # 'tahoe stop' command takes a while.
 414         def _stop(res):
 415             open(HOTLINE_FILE, "w").write("")
 416             self.failUnless(os.path.exists(TWISTD_PID_FILE))
 417
 418             return self.run_bintahoe(["--quiet", "stop", c1])
 419         d.addCallback(_stop)
 420
 421         def _after_stopping(res):
 422             out, err, rc_or_sig = res
 423             open(HOTLINE_FILE, "w").write("")
 424             # the parent has exited by now
 425             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
 426             self.failUnlessEqual(rc_or_sig, 0, errstr)
 427             self.failUnlessEqual(out, "", errstr)
 428             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
 429             # the parent was supposed to poll and wait until it sees
 430             # twistd.pid go away before it exits, so twistd.pid should be
 431             # gone by now.
 432             self.failIf(os.path.exists(TWISTD_PID_FILE))
 433         d.addCallback(_after_stopping)
 434
 435         def _remove_hotline(res):
 436             os.unlink(HOTLINE_FILE)
 437             return res
 438         d.addBoth(_remove_hotline)
 439         return d
 440     test_introducer.timeout = 960
 441
 442     # This test hit the 120-second timeout on "Francois Lenny-armv5tel", then it hit a 240-second timeout on our feisty2.5 buildslave: http://allmydata.org/buildbot/builders/feisty2.5/builds/2381/steps/test/logs/test.log
 443     # Then it hit the 480 second timeout on Francois's machine: http://tahoe-lafs.org/buildbot/builders/FranXois%20lenny-armv5tel/builds/449/steps/test/logs/stdio
 444
 445     def test_client_no_noise(self):
 446         self.skip_if_cannot_daemonize()
 447
 448         from allmydata import get_package_versions, normalized_version
 449         twisted_ver = get_package_versions()['Twisted']
 450
 451         if not normalized_version(twisted_ver) >= normalized_version('9.0.0'):
 452             raise unittest.SkipTest("We pass this test only with Twisted >= v9.0.0")
 453
 454         basedir = self.workdir("test_client_no_noise")
 455         c1 = os.path.join(basedir, "c1")
 456         HOTLINE_FILE = os.path.join(c1, "suicide_prevention_hotline")
 457         TWISTD_PID_FILE = os.path.join(c1, "twistd.pid")
 458         PORTNUMFILE = os.path.join(c1, "client.port")
 459
 460         d = self.run_bintahoe(["--quiet", "create-client", "--basedir", c1, "--webport", "0"])
 461         def _cb(res):
 462             out, err, rc_or_sig = res
 463             errstr = "cc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
 464             assert rc_or_sig == 0, errstr
 465             self.failUnlessEqual(rc_or_sig, 0)
 466             # By writing this file, we get forty seconds before the client will exit. This insures
 467             # that even if the 'stop' command doesn't work (and the test fails), the client should
 468             # still terminate.
 469             open(HOTLINE_FILE, "w").write("")
 470             open(os.path.join(c1, "introducer.furl"), "w").write("pb://xrndsskn2zuuian5ltnxrte7lnuqdrkz@127.0.0.1:55617/introducer\n")
 471             # now it's safe to start the node
 472         d.addCallback(_cb)
 473
 474         def _start(res):
 475             return self.run_bintahoe(["--quiet", "start", c1])
 476         d.addCallback(_start)
 477
 478         def _cb2(res):
 479             out, err, rc_or_sig = res
 480             errstr = "cc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
 481             open(HOTLINE_FILE, "w").write("")
 482             self.failUnlessEqual(rc_or_sig, 0, errstr)
 483             self.failUnlessEqual(out, "", errstr) # If you emit noise, you fail this test.
 484             errlines = err.split("\n")
 485             self.failIf([True for line in errlines if (line != "" and "UserWarning: Unbuilt egg for setuptools" not in line
 486                                                                   and "from pkg_resources import load_entry_point" not in line)], errstr)
 487             if err != "":
 488                 raise unittest.SkipTest("This test is known not to pass on Ubuntu Lucid; see #1235.")
 489
 490             # the parent (twistd) has exited. However, twistd writes the pid
 491             # from the child, not the parent, so we can't expect twistd.pid
 492             # to exist quite yet.
 493
 494             # the node is running, but it might not have made it past the
 495             # first reactor turn yet, and if we kill it too early, it won't
 496             # remove the twistd.pid file. So wait until it does something
 497             # that we know it won't do until after the first turn.
 498         d.addCallback(_cb2)
 499
 500         def _node_has_started():
 501             return os.path.exists(PORTNUMFILE)
 502         d.addCallback(lambda res: self.poll(_node_has_started))
 503
 504         # now we can kill it. TODO: On a slow machine, the node might kill
 505         # itself before we get a chance to, especially if spawning the
 506         # 'tahoe stop' command takes a while.
 507         def _stop(res):
 508             self.failUnless(os.path.exists(TWISTD_PID_FILE), (TWISTD_PID_FILE, os.listdir(os.path.dirname(TWISTD_PID_FILE))))
 509             return self.run_bintahoe(["--quiet", "stop", c1])
 510         d.addCallback(_stop)
 511         return d
 512
 513     def test_client(self):
 514         self.skip_if_cannot_daemonize()
 515         basedir = self.workdir("test_client")
 516         c1 = os.path.join(basedir, "c1")
 517         HOTLINE_FILE = os.path.join(c1, "suicide_prevention_hotline")
 518         TWISTD_PID_FILE = os.path.join(c1, "twistd.pid")
 519         PORTNUMFILE = os.path.join(c1, "client.port")
 520
 521         d = self.run_bintahoe(["--quiet", "create-node", "--basedir", c1, "--webport", "0"])
 522         def _cb(res):
 523             out, err, rc_or_sig = res
 524             self.failUnlessEqual(rc_or_sig, 0)
 525             # By writing this file, we get sixty seconds before the client will exit. This insures
 526             # that even if the 'stop' command doesn't work (and the test fails), the client should
 527             # still terminate.
 528             open(HOTLINE_FILE, "w").write("")
 529             open(os.path.join(c1, "introducer.furl"), "w").write("pb://xrndsskn2zuuian5ltnxrte7lnuqdrkz@127.0.0.1:55617/introducer\n")
 530             # now it's safe to start the node
 531         d.addCallback(_cb)
 532
 533         def _start(res):
 534             return self.run_bintahoe(["--quiet", "start", c1])
 535         d.addCallback(_start)
 536
 537         def _cb2(res):
 538             out, err, rc_or_sig = res
 539             open(HOTLINE_FILE, "w").write("")
 540             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
 541             self.failUnlessEqual(rc_or_sig, 0, errstr)
 542             self.failUnlessEqual(out, "", errstr)
 543             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
 544
 545             # the parent (twistd) has exited. However, twistd writes the pid
 546             # from the child, not the parent, so we can't expect twistd.pid
 547             # to exist quite yet.
 548
 549             # the node is running, but it might not have made it past the
 550             # first reactor turn yet, and if we kill it too early, it won't
 551             # remove the twistd.pid file. So wait until it does something
 552             # that we know it won't do until after the first turn.
 553         d.addCallback(_cb2)
 554
 555         def _node_has_started():
 556             return os.path.exists(PORTNUMFILE)
 557         d.addCallback(lambda res: self.poll(_node_has_started))
 558
 559         def _started(res):
 560             open(HOTLINE_FILE, "w").write("")
 561             self.failUnless(os.path.exists(TWISTD_PID_FILE))
 562             # rm this so we can detect when the second incarnation is ready
 563             os.unlink(PORTNUMFILE)
 564
 565             return self.run_bintahoe(["--quiet", "restart", c1])
 566         d.addCallback(_started)
 567
 568         def _cb3(res):
 569             out, err, rc_or_sig = res
 570
 571             open(HOTLINE_FILE, "w").write("")
 572             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
 573             self.failUnlessEqual(rc_or_sig, 0, errstr)
 574             self.failUnlessEqual(out, "", errstr)
 575             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
 576         d.addCallback(_cb3)
 577
 578         # again, the second incarnation of the node might not be ready yet,
 579         # so poll until it is
 580         d.addCallback(lambda res: self.poll(_node_has_started))
 581
 582         # now we can kill it. TODO: On a slow machine, the node might kill
 583         # itself before we get a chance too, especially if spawning the
 584         # 'tahoe stop' command takes a while.
 585         def _stop(res):
 586             open(HOTLINE_FILE, "w").write("")
 587             self.failUnless(os.path.exists(TWISTD_PID_FILE), (TWISTD_PID_FILE, os.listdir(os.path.dirname(TWISTD_PID_FILE))))
 588             return self.run_bintahoe(["--quiet", "stop", c1])
 589         d.addCallback(_stop)
 590
 591         def _cb4(res):
 592             out, err, rc_or_sig = res
 593
 594             open(HOTLINE_FILE, "w").write("")
 595             # the parent has exited by now
 596             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
 597             self.failUnlessEqual(rc_or_sig, 0, errstr)
 598             self.failUnlessEqual(out, "", errstr)
 599             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
 600             # the parent was supposed to poll and wait until it sees
 601             # twistd.pid go away before it exits, so twistd.pid should be
 602             # gone by now.
 603             self.failIf(os.path.exists(TWISTD_PID_FILE))
 604         d.addCallback(_cb4)
 605         def _remove_hotline(res):
 606             os.unlink(HOTLINE_FILE)
 607             return res
 608         d.addBoth(_remove_hotline)
 609         return d
 610
 611     def test_baddir(self):
 612         self.skip_if_cannot_daemonize()
 613         basedir = self.workdir("test_baddir")
 614         fileutil.make_dirs(basedir)
 615
 616         d = self.run_bintahoe(["--quiet", "start", "--basedir", basedir])
 617         def _cb(res):
 618             out, err, rc_or_sig = res
 619             self.failUnlessEqual(rc_or_sig, 1)
 620             self.failUnless("does not look like a node directory" in err, err)
 621         d.addCallback(_cb)
 622
 623         def _then_stop_it(res):
 624             return self.run_bintahoe(["--quiet", "stop", "--basedir", basedir])
 625         d.addCallback(_then_stop_it)
 626
 627         def _cb2(res):
 628             out, err, rc_or_sig = res
 629             self.failUnlessEqual(rc_or_sig, 2)
 630             self.failUnless("does not look like a running node directory" in err)
 631         d.addCallback(_cb2)
 632
 633         def _then_start_in_bogus_basedir(res):
 634             not_a_dir = os.path.join(basedir, "bogus")
 635             return self.run_bintahoe(["--quiet", "start", "--basedir", not_a_dir])
 636         d.addCallback(_then_start_in_bogus_basedir)
 637
 638         def _cb3(res):
 639             out, err, rc_or_sig = res
 640             self.failUnlessEqual(rc_or_sig, 1)
 641             self.failUnless("does not look like a directory at all" in err, err)
 642         d.addCallback(_cb3)
 643         return d
 644
 645     def test_keygen(self):
 646         self.skip_if_cannot_daemonize()
 647         basedir = self.workdir("test_keygen")
 648         c1 = os.path.join(basedir, "c1")
 649         TWISTD_PID_FILE = os.path.join(c1, "twistd.pid")
 650         KEYGEN_FURL_FILE = os.path.join(c1, "key_generator.furl")
 651
 652         d = self.run_bintahoe(["--quiet", "create-key-generator", "--basedir", c1])
 653         def _cb(res):
 654             out, err, rc_or_sig = res
 655             self.failUnlessEqual(rc_or_sig, 0)
 656         d.addCallback(_cb)
 657
 658         def _start(res):
 659             return self.run_bintahoe(["--quiet", "start", c1])
 660         d.addCallback(_start)
 661
 662         def _cb2(res):
 663             out, err, rc_or_sig = res
 664             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
 665             self.failUnlessEqual(rc_or_sig, 0, errstr)
 666             self.failUnlessEqual(out, "", errstr)
 667             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
 668
 669             # the parent (twistd) has exited. However, twistd writes the pid
 670             # from the child, not the parent, so we can't expect twistd.pid
 671             # to exist quite yet.
 672
 673             # the node is running, but it might not have made it past the
 674             # first reactor turn yet, and if we kill it too early, it won't
 675             # remove the twistd.pid file. So wait until it does something
 676             # that we know it won't do until after the first turn.
 677         d.addCallback(_cb2)
 678
 679         def _node_has_started():
 680             return os.path.exists(KEYGEN_FURL_FILE)
 681         d.addCallback(lambda res: self.poll(_node_has_started))
 682
 683         def _started(res):
 684             self.failUnless(os.path.exists(TWISTD_PID_FILE))
 685             # rm this so we can detect when the second incarnation is ready
 686             os.unlink(KEYGEN_FURL_FILE)
 687             return self.run_bintahoe(["--quiet", "restart", c1])
 688         d.addCallback(_started)
 689
 690         def _cb3(res):
 691             out, err, rc_or_sig = res
 692             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
 693             self.failUnlessEqual(rc_or_sig, 0, errstr)
 694             self.failUnlessEqual(out, "", errstr)
 695             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
 696         d.addCallback(_cb3)
 697
 698         # again, the second incarnation of the node might not be ready yet,
 699         # so poll until it is
 700         d.addCallback(lambda res: self.poll(_node_has_started))
 701
 702         # now we can kill it. TODO: On a slow machine, the node might kill
 703         # itself before we get a chance too, especially if spawning the
 704         # 'tahoe stop' command takes a while.
 705         def _stop(res):
 706             self.failUnless(os.path.exists(TWISTD_PID_FILE))
 707             return self.run_bintahoe(["--quiet", "stop", c1])
 708         d.addCallback(_stop)
 709
 710         def _cb4(res):
 711             out, err, rc_or_sig = res
 712             # the parent has exited by now
 713             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
 714             self.failUnlessEqual(rc_or_sig, 0, errstr)
 715             self.failUnlessEqual(out, "", errstr)
 716             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
 717             # the parent was supposed to poll and wait until it sees
 718             # twistd.pid go away before it exits, so twistd.pid should be
 719             # gone by now.
 720             self.failIf(os.path.exists(TWISTD_PID_FILE))
 721         d.addCallback(_cb4)
 722         return d