]> git.rkrishnan.org Git - tahoe-lafs/tahoe-lafs.git/blob - src/allmydata/test/test_runner.py
Add create-node CLI command, and make create-client equivalent to create-node --no...
[tahoe-lafs/tahoe-lafs.git] / src / allmydata / test / test_runner.py
1 # -*- coding: utf-8 -*-
2
3 from twisted.trial import unittest
4
5 from twisted.python import usage, runtime
6 from twisted.internet import utils
7 import os.path, re, sys
8 from cStringIO import StringIO
9 from allmydata.util import fileutil, pollmixin
10 from allmydata.scripts import runner
11
12 from allmydata.test import common_util
13 import allmydata
14
15 bintahoe = os.path.join(os.path.dirname(os.path.dirname(os.path.dirname(allmydata.__file__))), 'bin', 'tahoe')
16 if sys.platform == "win32":
17     bintahoe += ".exe"
18
19 class SkipOnCygwinMixin:
20     def skip_on_cygwin(self):
21         if "cygwin" in sys.platform.lower():
22             raise unittest.SkipTest("We don't know how to make this test work on cygwin: spawnProcess seems to hang forever. We don't know if 'bin/tahoe start' can be run on cygwin.")
23
24 class TheRightCode(common_util.SignalMixin, unittest.TestCase,
25                    SkipOnCygwinMixin):
26     def test_path(self):
27         self.skip_on_cygwin()
28         if not os.path.exists(bintahoe):
29             raise unittest.SkipTest("The bin/tahoe script isn't to be found in the expected location, and I don't want to test a 'tahoe' executable that I find somewhere else, in case it isn't the right executable for this version of tahoe.")
30         d = utils.getProcessOutputAndValue(bintahoe, args=["--version-and-path"], env=os.environ)
31         def _cb(res):
32             out, err, rc_or_sig = res
33             self.failUnlessEqual(rc_or_sig, 0)
34
35             # Fail unless the allmydata-tahoe package is *this* version *and*
36             # was loaded from *this* source directory.
37             ad = os.path.dirname(os.path.dirname(os.path.realpath(allmydata.__file__)))
38             required_ver_and_path = "allmydata-tahoe: %s (%s)" % (allmydata.__version__, ad)
39             self.failUnless(out.startswith(required_ver_and_path),
40                             (out, err, rc_or_sig, required_ver_and_path))
41         d.addCallback(_cb)
42         return d
43
44 class CreateNode(unittest.TestCase):
45     # exercise "tahoe create-node", create-introducer,
46     # create-key-generator, and create-stats-gatherer, by calling the
47     # corresponding code as a subroutine.
48
49     def workdir(self, name):
50         basedir = os.path.join("test_runner", "CreateNode", name)
51         fileutil.make_dirs(basedir)
52         return basedir
53
54     def run_tahoe(self, argv):
55         out,err = StringIO(), StringIO()
56         rc = runner.runner(argv, stdout=out, stderr=err)
57         return rc, out.getvalue(), err.getvalue()
58
59     def test_node(self, command="create-node"):
60         basedir = self.workdir("test_node")
61         c1 = os.path.join(basedir, command + "-c1")
62         argv = ["--quiet", command, "--basedir", c1]
63         rc, out, err = self.run_tahoe(argv)
64         self.failUnlessEqual(err, "")
65         self.failUnlessEqual(out, "")
66         self.failUnlessEqual(rc, 0)
67         self.failUnless(os.path.exists(c1))
68         self.failUnless(os.path.exists(os.path.join(c1, "tahoe-client.tac")))
69         
70         # tahoe.cfg should exist, and should have storage enabled for
71         # 'create-node', and disabled for 'create-client'.
72         tahoe_cfg = os.path.join(c1, "tahoe.cfg")
73         self.failUnless(os.path.exists(tahoe_cfg))
74         content = open(tahoe_cfg).read()
75         if command == "create-client":
76             self.failUnless("\n[storage]\nenabled = false\n" in content)
77         else:
78             self.failUnless("\n[storage]\nenabled = true\n" in content)
79
80         # creating the client a second time should be rejected
81         rc, out, err = self.run_tahoe(argv)
82         self.failIfEqual(rc, 0, str((out, err, rc)))
83         self.failUnlessEqual(out, "")
84         self.failUnless("is not empty." in err)
85
86         # Fail if there is a non-empty line that doesn't end with a
87         # punctuation mark.
88         for line in err.splitlines():
89             self.failIf(re.search("[\S][^\.!?]$", line), (line,))
90
91         # test that the non --basedir form works too
92         c2 = os.path.join(basedir, command + "c2")
93         argv = ["--quiet", command, c2]
94         rc, out, err = self.run_tahoe(argv)
95         self.failUnless(os.path.exists(c2))
96         self.failUnless(os.path.exists(os.path.join(c2, "tahoe-client.tac")))
97
98         # make sure it rejects too many arguments
99         argv = [command, "basedir", "extraarg"]
100         self.failUnlessRaises(usage.UsageError,
101                               runner.runner, argv,
102                               run_by_human=False)
103
104     def test_client(self):
105         # create-client should behave like create-node --no-storage.
106         self.test_node(command="create-client")
107
108     def test_introducer(self):
109         basedir = self.workdir("test_introducer")
110         c1 = os.path.join(basedir, "c1")
111         argv = ["--quiet", "create-introducer", "--basedir", c1]
112         rc, out, err = self.run_tahoe(argv)
113         self.failUnlessEqual(err, "", err)
114         self.failUnlessEqual(out, "")
115         self.failUnlessEqual(rc, 0)
116         self.failUnless(os.path.exists(c1))
117         self.failUnless(os.path.exists(os.path.join(c1,"tahoe-introducer.tac")))
118
119         # creating the introducer a second time should be rejected
120         rc, out, err = self.run_tahoe(argv)
121         self.failIfEqual(rc, 0)
122         self.failUnlessEqual(out, "")
123         self.failUnless("is not empty" in err)
124
125         # Fail if there is a non-empty line that doesn't end with a
126         # punctuation mark.
127         for line in err.splitlines():
128             self.failIf(re.search("[\S][^\.!?]$", line), (line,))
129
130         # test the non --basedir form
131         c2 = os.path.join(basedir, "c2")
132         argv = ["--quiet", "create-introducer", c2]
133         rc, out, err = self.run_tahoe(argv)
134         self.failUnlessEqual(err, "", err)
135         self.failUnlessEqual(out, "")
136         self.failUnlessEqual(rc, 0)
137         self.failUnless(os.path.exists(c2))
138         self.failUnless(os.path.exists(os.path.join(c2,"tahoe-introducer.tac")))
139
140         # reject extra arguments
141         argv = ["create-introducer", "basedir", "extraarg"]
142         self.failUnlessRaises(usage.UsageError,
143                               runner.runner, argv,
144                               run_by_human=False)
145         # and require basedir to be provided in some form
146         argv = ["create-introducer"]
147         self.failUnlessRaises(usage.UsageError,
148                               runner.runner, argv,
149                               run_by_human=False)
150
151     def test_key_generator(self):
152         basedir = self.workdir("test_key_generator")
153         kg1 = os.path.join(basedir, "kg1")
154         argv = ["--quiet", "create-key-generator", "--basedir", kg1]
155         rc, out, err = self.run_tahoe(argv)
156         self.failUnlessEqual(err, "")
157         self.failUnlessEqual(out, "")
158         self.failUnlessEqual(rc, 0)
159         self.failUnless(os.path.exists(kg1))
160         self.failUnless(os.path.exists(os.path.join(kg1, "tahoe-key-generator.tac")))
161
162         # creating it a second time should be rejected
163         rc, out, err = self.run_tahoe(argv)
164         self.failIfEqual(rc, 0, str((out, err, rc)))
165         self.failUnlessEqual(out, "")
166         self.failUnless("is not empty." in err)
167
168         # make sure it rejects too many arguments
169         argv = ["create-key-generator", "basedir", "extraarg"]
170         self.failUnlessRaises(usage.UsageError,
171                               runner.runner, argv,
172                               run_by_human=False)
173
174         # make sure it rejects a missing basedir specification
175         argv = ["create-key-generator"]
176         rc, out, err = self.run_tahoe(argv)
177         self.failIfEqual(rc, 0, str((out, err, rc)))
178         self.failUnlessEqual(out, "")
179         self.failUnless("a basedir was not provided" in err)
180
181     def test_stats_gatherer(self):
182         basedir = self.workdir("test_stats_gatherer")
183         sg1 = os.path.join(basedir, "sg1")
184         argv = ["--quiet", "create-stats-gatherer", "--basedir", sg1]
185         rc, out, err = self.run_tahoe(argv)
186         self.failUnlessEqual(err, "")
187         self.failUnlessEqual(out, "")
188         self.failUnlessEqual(rc, 0)
189         self.failUnless(os.path.exists(sg1))
190         self.failUnless(os.path.exists(os.path.join(sg1, "tahoe-stats-gatherer.tac")))
191
192         # creating it a second time should be rejected
193         rc, out, err = self.run_tahoe(argv)
194         self.failIfEqual(rc, 0, str((out, err, rc)))
195         self.failUnlessEqual(out, "")
196         self.failUnless("is not empty." in err)
197
198         # test the non --basedir form
199         kg2 = os.path.join(basedir, "kg2")
200         argv = ["--quiet", "create-stats-gatherer", kg2]
201         rc, out, err = self.run_tahoe(argv)
202         self.failUnlessEqual(err, "", err)
203         self.failUnlessEqual(out, "")
204         self.failUnlessEqual(rc, 0)
205         self.failUnless(os.path.exists(kg2))
206         self.failUnless(os.path.exists(os.path.join(kg2,"tahoe-stats-gatherer.tac")))
207
208         # make sure it rejects too many arguments
209         argv = ["create-stats-gatherer", "basedir", "extraarg"]
210         self.failUnlessRaises(usage.UsageError,
211                               runner.runner, argv,
212                               run_by_human=False)
213
214         # make sure it rejects a missing basedir specification
215         argv = ["create-stats-gatherer"]
216         rc, out, err = self.run_tahoe(argv)
217         self.failIfEqual(rc, 0, str((out, err, rc)))
218         self.failUnlessEqual(out, "")
219         self.failUnless("a basedir was not provided" in err)
220
221     def test_subcommands(self):
222         # no arguments should trigger a command listing, via UsageError
223         self.failUnlessRaises(usage.UsageError,
224                               runner.runner,
225                               [],
226                               run_by_human=False)
227
228
229 class RunNode(common_util.SignalMixin, unittest.TestCase, pollmixin.PollMixin,
230               SkipOnCygwinMixin):
231     # exercise "tahoe start", for both introducer, client node, and
232     # key-generator, by spawning "tahoe start" as a subprocess. This doesn't
233     # get us figleaf-based line-level coverage, but it does a better job of
234     # confirming that the user can actually run "./bin/tahoe start" and
235     # expect it to work. This verifies that bin/tahoe sets up PYTHONPATH and
236     # the like correctly.
237
238     # This doesn't work on cygwin (it hangs forever), so we skip this test
239     # when we're on cygwin. It is likely that "tahoe start" itself doesn't
240     # work on cygwin: twisted seems unable to provide a version of
241     # spawnProcess which really works there.
242
243     def workdir(self, name):
244         basedir = os.path.join("test_runner", "RunNode", name)
245         fileutil.make_dirs(basedir)
246         return basedir
247
248     def test_introducer(self):
249         self.skip_on_cygwin()
250         if not os.path.exists(bintahoe):
251             raise unittest.SkipTest("The bin/tahoe script isn't to be found in the expected location, and I don't want to test a 'tahoe' executable that I find somewhere else, in case it isn't the right executable for this version of tahoe.")
252         if runtime.platformType == "win32":
253             # twistd on windows doesn't daemonize. cygwin works normally.
254             raise unittest.SkipTest("twistd does not fork under windows")
255         basedir = self.workdir("test_introducer")
256         c1 = os.path.join(basedir, "c1")
257         HOTLINE_FILE = os.path.join(c1, "suicide_prevention_hotline")
258         TWISTD_PID_FILE = os.path.join(c1, "twistd.pid")
259         INTRODUCER_FURL_FILE = os.path.join(c1, "introducer.furl")
260
261         d = utils.getProcessOutputAndValue(bintahoe, args=["--quiet", "create-introducer", "--basedir", c1], env=os.environ)
262         def _cb(res):
263             out, err, rc_or_sig = res
264             self.failUnlessEqual(rc_or_sig, 0)
265             # by writing this file, we get ten seconds before the node will
266             # exit. This insures that even if the test fails (and the 'stop'
267             # command doesn't work), the client should still terminate.
268             open(HOTLINE_FILE, "w").write("")
269             # now it's safe to start the node
270         d.addCallback(_cb)
271
272         def _then_start_the_node(res):
273             return utils.getProcessOutputAndValue(bintahoe, args=["--quiet", "start", c1], env=os.environ)
274         d.addCallback(_then_start_the_node)
275
276         def _cb2(res):
277             out, err, rc_or_sig = res
278
279             open(HOTLINE_FILE, "w").write("")
280             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
281             self.failUnlessEqual(rc_or_sig, 0, errstr)
282             self.failUnlessEqual(out, "", errstr)
283             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
284
285             # the parent (twistd) has exited. However, twistd writes the pid
286             # from the child, not the parent, so we can't expect twistd.pid
287             # to exist quite yet.
288
289             # the node is running, but it might not have made it past the
290             # first reactor turn yet, and if we kill it too early, it won't
291             # remove the twistd.pid file. So wait until it does something
292             # that we know it won't do until after the first turn.
293         d.addCallback(_cb2)
294
295         def _node_has_started():
296             return os.path.exists(INTRODUCER_FURL_FILE)
297         d.addCallback(lambda res: self.poll(_node_has_started))
298
299         def _started(res):
300             open(HOTLINE_FILE, "w").write("")
301             self.failUnless(os.path.exists(TWISTD_PID_FILE))
302             # rm this so we can detect when the second incarnation is ready
303             os.unlink(INTRODUCER_FURL_FILE)
304             return utils.getProcessOutputAndValue(bintahoe, args=["--quiet", "restart", c1], env=os.environ)
305         d.addCallback(_started)
306
307         def _then(res):
308             out, err, rc_or_sig = res
309             open(HOTLINE_FILE, "w").write("")
310             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
311             self.failUnlessEqual(rc_or_sig, 0, errstr)
312             self.failUnlessEqual(out, "", errstr)
313             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
314         d.addCallback(_then)
315
316         # again, the second incarnation of the node might not be ready yet,
317         # so poll until it is
318         d.addCallback(lambda res: self.poll(_node_has_started))
319
320         # now we can kill it. TODO: On a slow machine, the node might kill
321         # itself before we get a chance too, especially if spawning the
322         # 'tahoe stop' command takes a while.
323         def _stop(res):
324             open(HOTLINE_FILE, "w").write("")
325             self.failUnless(os.path.exists(TWISTD_PID_FILE))
326
327             return utils.getProcessOutputAndValue(bintahoe, args=["--quiet", "stop", c1], env=os.environ)
328         d.addCallback(_stop)
329
330         def _after_stopping(res):
331             out, err, rc_or_sig = res
332             open(HOTLINE_FILE, "w").write("")
333             # the parent has exited by now
334             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
335             self.failUnlessEqual(rc_or_sig, 0, errstr)
336             self.failUnlessEqual(out, "", errstr)
337             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
338             # the parent was supposed to poll and wait until it sees
339             # twistd.pid go away before it exits, so twistd.pid should be
340             # gone by now.
341             self.failIf(os.path.exists(TWISTD_PID_FILE))
342         d.addCallback(_after_stopping)
343
344         def _remove_hotline(res):
345             os.unlink(HOTLINE_FILE)
346             return res
347         d.addBoth(_remove_hotline)
348         return d
349     test_introducer.timeout = 480 # This hit the 120-second timeout on "François Lenny-armv5tel", then it hit a 240-second timeout on our feisty2.5 buildslave: http://allmydata.org/buildbot/builders/feisty2.5/builds/2381/steps/test/logs/test.log
350
351     def test_client(self):
352         self.skip_on_cygwin()
353         if not os.path.exists(bintahoe):
354             raise unittest.SkipTest("The bin/tahoe script isn't to be found in the expected location, and I don't want to test a 'tahoe' executable that I find somewhere else, in case it isn't the right executable for this version of tahoe.")
355         if runtime.platformType == "win32":
356             # twistd on windows doesn't daemonize. cygwin works normally.
357             raise unittest.SkipTest("twistd does not fork under windows")
358         basedir = self.workdir("test_client")
359         c1 = os.path.join(basedir, "c1")
360         HOTLINE_FILE = os.path.join(c1, "suicide_prevention_hotline")
361         TWISTD_PID_FILE = os.path.join(c1, "twistd.pid")
362         PORTNUMFILE = os.path.join(c1, "client.port")
363
364         d = utils.getProcessOutputAndValue(bintahoe, args=["--quiet", "create-node", "--basedir", c1, "--webport", "0"], env=os.environ)
365         def _cb(res):
366             out, err, rc_or_sig = res
367             self.failUnlessEqual(rc_or_sig, 0)
368             # By writing this file, we get sixty seconds before the client will exit. This insures
369             # that even if the 'stop' command doesn't work (and the test fails), the client should
370             # still terminate.
371             open(HOTLINE_FILE, "w").write("")
372             open(os.path.join(c1, "introducer.furl"), "w").write("pb://xrndsskn2zuuian5ltnxrte7lnuqdrkz@127.0.0.1:55617/introducer\n")
373             # now it's safe to start the node
374         d.addCallback(_cb)
375
376         def _start(res):
377             return utils.getProcessOutputAndValue(bintahoe, args=["--quiet", "start", c1], env=os.environ)
378         d.addCallback(_start)
379
380         def _cb2(res):
381             out, err, rc_or_sig = res
382             open(HOTLINE_FILE, "w").write("")
383             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
384             self.failUnlessEqual(rc_or_sig, 0, errstr)
385             self.failUnlessEqual(out, "", errstr)
386             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
387
388             # the parent (twistd) has exited. However, twistd writes the pid
389             # from the child, not the parent, so we can't expect twistd.pid
390             # to exist quite yet.
391
392             # the node is running, but it might not have made it past the
393             # first reactor turn yet, and if we kill it too early, it won't
394             # remove the twistd.pid file. So wait until it does something
395             # that we know it won't do until after the first turn.
396         d.addCallback(_cb2)
397
398         def _node_has_started():
399             return os.path.exists(PORTNUMFILE)
400         d.addCallback(lambda res: self.poll(_node_has_started))
401
402         def _started(res):
403             open(HOTLINE_FILE, "w").write("")
404             self.failUnless(os.path.exists(TWISTD_PID_FILE))
405             # rm this so we can detect when the second incarnation is ready
406             os.unlink(PORTNUMFILE)
407
408             return utils.getProcessOutputAndValue(bintahoe, args=["--quiet", "restart", c1], env=os.environ)
409         d.addCallback(_started)
410
411         def _cb3(res):
412             out, err, rc_or_sig = res
413
414             open(HOTLINE_FILE, "w").write("")
415             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
416             self.failUnlessEqual(rc_or_sig, 0, errstr)
417             self.failUnlessEqual(out, "", errstr)
418             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
419         d.addCallback(_cb3)
420
421         # again, the second incarnation of the node might not be ready yet,
422         # so poll until it is
423         d.addCallback(lambda res: self.poll(_node_has_started))
424
425         # now we can kill it. TODO: On a slow machine, the node might kill
426         # itself before we get a chance too, especially if spawning the
427         # 'tahoe stop' command takes a while.
428         def _stop(res):
429             open(HOTLINE_FILE, "w").write("")
430             self.failUnless(os.path.exists(TWISTD_PID_FILE), (TWISTD_PID_FILE, os.listdir(os.path.dirname(TWISTD_PID_FILE))))
431             return utils.getProcessOutputAndValue(bintahoe, args=["--quiet", "stop", c1], env=os.environ)
432         d.addCallback(_stop)
433
434         def _cb4(res):
435             out, err, rc_or_sig = res
436
437             open(HOTLINE_FILE, "w").write("")
438             # the parent has exited by now
439             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
440             self.failUnlessEqual(rc_or_sig, 0, errstr)
441             self.failUnlessEqual(out, "", errstr)
442             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
443             # the parent was supposed to poll and wait until it sees
444             # twistd.pid go away before it exits, so twistd.pid should be
445             # gone by now.
446             self.failIf(os.path.exists(TWISTD_PID_FILE))
447         d.addCallback(_cb4)
448         def _remove_hotline(res):
449             os.unlink(HOTLINE_FILE)
450             return res
451         d.addBoth(_remove_hotline)
452         return d
453
454     def test_baddir(self):
455         self.skip_on_cygwin()
456         if not os.path.exists(bintahoe):
457             raise unittest.SkipTest("The bin/tahoe script isn't to be found in the expected location, and I don't want to test a 'tahoe' executable that I find somewhere else, in case it isn't the right executable for this version of tahoe.")
458         basedir = self.workdir("test_baddir")
459         fileutil.make_dirs(basedir)
460
461         d = utils.getProcessOutputAndValue(bintahoe, args=["--quiet", "start", "--basedir", basedir], env=os.environ)
462         def _cb(res):
463             out, err, rc_or_sig = res
464             self.failUnlessEqual(rc_or_sig, 1)
465             self.failUnless("does not look like a node directory" in err)
466         d.addCallback(_cb)
467
468         def _then_stop_it(res):
469             return utils.getProcessOutputAndValue(bintahoe, args=["--quiet", "stop", "--basedir", basedir], env=os.environ)
470         d.addCallback(_then_stop_it)
471
472         def _cb2(res):
473             out, err, rc_or_sig = res
474             self.failUnlessEqual(rc_or_sig, 2)
475             self.failUnless("does not look like a running node directory" in err)
476         d.addCallback(_cb2)
477
478         def _then_start_in_bogus_basedir(res):
479             not_a_dir = os.path.join(basedir, "bogus")
480             return utils.getProcessOutputAndValue(bintahoe, args=["--quiet", "start", "--basedir", not_a_dir], env=os.environ)
481         d.addCallback(_then_start_in_bogus_basedir)
482
483         def _cb3(res):
484             out, err, rc_or_sig = res
485             self.failUnlessEqual(rc_or_sig, 1)
486             self.failUnless("does not look like a directory at all" in err, err)
487         d.addCallback(_cb3)
488         return d
489
490     def test_keygen(self):
491         self.skip_on_cygwin()
492         if not os.path.exists(bintahoe):
493             raise unittest.SkipTest("The bin/tahoe script isn't to be found in the expected location, and I don't want to test a 'tahoe' executable that I find somewhere else, in case it isn't the right executable for this version of tahoe.")
494         if runtime.platformType == "win32":
495             # twistd on windows doesn't daemonize. cygwin works normally.
496             raise unittest.SkipTest("twistd does not fork under windows")
497         basedir = self.workdir("test_keygen")
498         c1 = os.path.join(basedir, "c1")
499         TWISTD_PID_FILE = os.path.join(c1, "twistd.pid")
500         KEYGEN_FURL_FILE = os.path.join(c1, "key_generator.furl")
501
502         d = utils.getProcessOutputAndValue(bintahoe, args=["--quiet", "create-key-generator", "--basedir", c1], env=os.environ)
503         def _cb(res):
504             out, err, rc_or_sig = res
505             self.failUnlessEqual(rc_or_sig, 0)
506         d.addCallback(_cb)
507
508         def _start(res):
509             return utils.getProcessOutputAndValue(bintahoe, args=["--quiet", "start", c1], env=os.environ)
510         d.addCallback(_start)
511
512         def _cb2(res):
513             out, err, rc_or_sig = res
514             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
515             self.failUnlessEqual(rc_or_sig, 0, errstr)
516             self.failUnlessEqual(out, "", errstr)
517             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
518
519             # the parent (twistd) has exited. However, twistd writes the pid
520             # from the child, not the parent, so we can't expect twistd.pid
521             # to exist quite yet.
522
523             # the node is running, but it might not have made it past the
524             # first reactor turn yet, and if we kill it too early, it won't
525             # remove the twistd.pid file. So wait until it does something
526             # that we know it won't do until after the first turn.
527         d.addCallback(_cb2)
528
529         def _node_has_started():
530             return os.path.exists(KEYGEN_FURL_FILE)
531         d.addCallback(lambda res: self.poll(_node_has_started))
532
533         def _started(res):
534             self.failUnless(os.path.exists(TWISTD_PID_FILE))
535             # rm this so we can detect when the second incarnation is ready
536             os.unlink(KEYGEN_FURL_FILE)
537             return utils.getProcessOutputAndValue(bintahoe, args=["--quiet", "restart", c1], env=os.environ)
538         d.addCallback(_started)
539
540         def _cb3(res):
541             out, err, rc_or_sig = res
542             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
543             self.failUnlessEqual(rc_or_sig, 0, errstr)
544             self.failUnlessEqual(out, "", errstr)
545             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
546         d.addCallback(_cb3)
547
548         # again, the second incarnation of the node might not be ready yet,
549         # so poll until it is
550         d.addCallback(lambda res: self.poll(_node_has_started))
551
552         # now we can kill it. TODO: On a slow machine, the node might kill
553         # itself before we get a chance too, especially if spawning the
554         # 'tahoe stop' command takes a while.
555         def _stop(res):
556             self.failUnless(os.path.exists(TWISTD_PID_FILE))
557             return utils.getProcessOutputAndValue(bintahoe, args=["--quiet", "stop", c1], env=os.environ)
558         d.addCallback(_stop)
559
560         def _cb4(res):
561             out, err, rc_or_sig = res
562             # the parent has exited by now
563             errstr = "rc=%d, OUT: '%s', ERR: '%s'" % (rc_or_sig, out, err)
564             self.failUnlessEqual(rc_or_sig, 0, errstr)
565             self.failUnlessEqual(out, "", errstr)
566             # self.failUnlessEqual(err, "", errstr) # See test_client_no_noise -- for now we ignore noise.
567             # the parent was supposed to poll and wait until it sees
568             # twistd.pid go away before it exits, so twistd.pid should be
569             # gone by now.
570             self.failIf(os.path.exists(TWISTD_PID_FILE))
571         d.addCallback(_cb4)
572         return d