relnotes.txt

   1 NEW VERSION RELEASED -- Allmydata-Tahoe version 0.6
   2
   3 We are pleased to announce the release of version 0.6 of allmydata.org
   4 "Tahoe", a secure, decentralized storage grid under a free-software
   5 licence.  This is the successor to v0.5.1, which was released
   6 August 8, 2007 (see [1]).
   7
   8 Since v0.5.1 we've made the following changes:
   9
  10  * Distribute shares more evenly onto servers -- this makes files more
  11    reliable when there are few servers. (ticket #132)
  12
  13  * Package Tahoe with setuptools/easy_install.  This makes it so that
  14    other libraries that Tahoe depends upon get automatically installed
  15    when Tahoe is installed.  It also means that people who have Python
  16    and the easy_install tool can execute "easy_install
  17    allmydata-tahoe" on the command-line (including on Windows), and it
  18    will download and install Tahoe. (tickets #82, 93, 130)
  19
  20  * Memory usage during download is now small, even if your node is
  21    streaming the downloaded content to a slow web browser over
  22    HTTP. (ticket #129)
  23
  24  * Shares have a version number in them so that in the future we can
  25    upgrade the share format without losing old data. (ticket #90)
  26
  27  * improved logging, thanks to Arno
  28
  29  * Shares now contain leases, which gives us the information to
  30    compute which shares are safe to delete, but we haven't yet
  31    implemented deletion itself.  Eventually, this will enable client
  32    quota tracking. (tickets #119, #67)
  33
  34
  35 For complete details, see this web page which shows all ticket
  36 changes, repository checkins, and wiki changes from August 24 to
  37 today, September 18: [2].
  38
  39 Allmydata.org Tahoe v0.6 is incompatible with Allmydata.org Tahoe
  40 v0.5.1 because of the share format version number and the leases.
  41
  42
  43 WHAT IS IT GOOD FOR?
  44
  45 With Tahoe, you can store your files in a distributed way across a set
  46 of computers, such that if some of the computers fail or become
  47 unavailable, you can still retrieve your data from the remaining
  48 computers.  You can also securely share your files with other users.
  49
  50 This release is targeted at hackers and users who are willing to use a
  51 text-oriented web user interface, or a command-line user interface.
  52 (Or a RESTful API.  Just telnet to localhost and type HTTP requests to
  53 get started.)
  54
  55 Because this software is new, it is not yet recommended for storage of
  56 highly confidential data nor for important data which is not otherwise
  57 backed up. Given that caveat, this software works and there are no
  58 known security flaws which would compromise confidentiality or data
  59 integrity.
  60
  61 This release of Tahoe is suitable for the "friendnet" use case [3].
  62 It is easy to set up a private grid which is securely shared among a
  63 specific, limited set of friends.  Files uploaded to this shared grid
  64 will be available to all friends, even when some of the computers are
  65 unavailable.  It is also easy to encrypt individual files and
  66 directories so that only designated recipients can read them.
  67
  68
  69 LICENCE
  70
  71 Tahoe is offered under the GNU General Public License (v2 or later),
  72 with the added permission that, if you become obligated to release a
  73 derived work under this licence (as per section 2.b), you may delay
  74 the fulfillment of this obligation for up to 12 months.  If you are
  75 obligated to release code under section 2.b of this licence, you are
  76 obligated to release it under these same terms, including the 12-month
  77 grace period clause.
  78
  79
  80 INSTALLATION
  81
  82 Tahoe works on Linux, Mac OS X, Windows, Cygwin, and Solaris.  For
  83 installation instructions please see the README [4].
  84
  85
  86 USAGE - web interface
  87
  88 Once installed, create a "client node".  Instruct this client node to
  89 connect to a specific "introducer node" by means of config files in
  90 the client node's working directory.  To join a grid, copy in the
  91 .furl files for that grid.  To create a private grid, run your own
  92 introducer, and copy its .furl files.  See the README for step-by-step
  93 instructions.
  94
  95 Each client node can run a local webserver (enabled by writing the
  96 desired port number into a file called 'webport').  The welcome page
  97 of this webserver shows the node's status, including which introducer
  98 is being used and which other nodes are connected.
  99
 100 Links from the welcome page lead to other pages that give access to a
 101 virtual filesystem, in which each directory is represented by a
 102 separate page.  Each directory page shows a list of the files
 103 available there, with download links, and forms to upload new files.
 104
 105 USAGE - command-line interface
 106
 107 Run "allmydata-tahoe ls [VIRTUAL PATH NAME]" to list the contents of a
 108 virtual directory.  Run "allmydata-tahoe get [VIRTUAL FILE NAME]
 109 [LOCAL FILE NAME]" to download a file.  Run "allmydata-tahoe put
 110 [LOCAL FILE NAME] [VIRTUAL FILE NAME]" to upload a file.  Run
 111 "allmydata-tahoe rm [VIRTUAL PATH NAME]" to unlink a file or directory
 112 in the virtual drive.
 113
 114 USAGE - other
 115
 116 You can control the filesystem through the RESTful web API [5].  Other
 117 ways to access the filesystem are planned: please see the
 118 roadmap.txt [6] for some plans.
 119
 120
 121 HACKING AND COMMUNITY
 122
 123 Please join the mailing list [7] to discuss the ideas behind Tahoe and
 124 extensions of and uses of Tahoe.  Patches that extend and improve
 125 Tahoe are gratefully accepted -- roadmap.txt [6] shows the next
 126 improvements that we plan to make and CREDITS [8] lists the names of
 127 people who've contributed to the project.  The wiki Dev page [9]
 128 collects various hacking resources including revision history
 129 browsing, automated test results (including code coverage), automated
 130 performance tests, graphs of how many people are using the public test
 131 grid for how many files, and more.
 132
 133
 134 NETWORK ARCHITECTURE
 135
 136 Each peer maintains a connection to each other peer.  A single
 137 distinct server called an "introducer" is used to discover other peers
 138 with which to connect.
 139
 140 To store a file, the file is encrypted and erasure coded, and each
 141 resulting share is uploaded to a different peer.  The secure hash of
 142 the encrypted file and the encryption key are packed into a URI,
 143 knowledge of which is necessary and sufficient to recover the file.
 144
 145 To fetch a file, starting with the URI, a subset of shares is
 146 downloaded from peers, the file is reconstructed from the shares, and
 147 then decrypted.
 148
 149 A single distinct server called a "vdrive server" maintains a global
 150 mapping from pathnames/filenames to URIs.
 151
 152 We are acutely aware of the limitations on decentralization and
 153 scalability inherent in this version.  In particular, the
 154 completely-connected property of the grid and the requirement of a
 155 single distinct introducer and vdrive server limits the possible size
 156 of the grid.  We have plans to loosen these limitations (see
 157 roadmap.txt).  Currently it should be noted that the grid already
 158 depends as little as possible on the accessibility and correctness of
 159 the introduction server and the vdrive server.  Also note that the
 160 choice of which servers to use is easily configured -- you can set up
 161 a private grid for you and your friends as easily as connecting to our
 162 public test grid.
 163
 164
 165 SOFTWARE ARCHITECTURE
 166
 167 Tahoe is a "from the ground-up" rewrite, inspired by Allmydata's
 168 existing consumer backup service.  It is primarily written in the
 169 Python programming language.
 170
 171 Tahoe is based on the Foolscap library [10] which provides a remote
 172 object protocol inspired by the capability-secure "E" programming
 173 language [11].  Foolscap allows us to express the intended behavior of
 174 the distributed grid directly in object-oriented terms while relying
 175 on a well-engineered, secure transport layer.
 176
 177 The network layer is provided by the Twisted library [12].
 178 Computationally intensive operations are performed in native compiled
 179 code, such as the "zfec" library for fast erasure coding (also
 180 available separately: [13]).
 181
 182
 183 SPONSORSHIP
 184
 185 Tahoe is sponsored by Allmydata, Inc. [14], a provider of consumer
 186 backup services.  Allmydata, Inc. contributes hardware, software,
 187 ideas, bug reports, suggestions, demands, and money (employing several
 188 allmydata.org Tahoe hackers and allowing them to spend part of their
 189 work time on the next-generation, free-software project).  We are
 190 eternally grateful!
 191
 192
 193 Zooko O'Whielacronx and Brian Warner
 194 on behalf of the allmydata.org Tahoe team
 195 September 18, 2007
 196 Boulder, Colorado and San Francisco, California
 197
 198
 199 [1]  http://allmydata.org/trac/tahoe/browser/relnotes.txt?rev=1154
 200 [2]  http://allmydata.org/trac/tahoe/timeline?from=2007-09-18&daysback=24&changeset=on&milestone=on&ticket=on&ticket_details=on&wiki=on&update=Update XXX UPDATE TIMESTAMPS BEFORE RELEASE PLEASE --Zooko
 201 [3]  http://allmydata.org/trac/tahoe/wiki/UseCases
 202 [4]  http://allmydata.org/trac/tahoe/browser/README?rev=1248 XXX UPDATE PATCH NUMBER BEFORE RELEASE PLEASE --Zooko
 203 [5]  http://allmydata.org/trac/tahoe/browser/docs/webapi.txt?rev=1151
 204 [6]  http://allmydata.org/trac/tahoe/browser/roadmap.txt
 205 [7]  http://allmydata.org/cgi-bin/mailman/listinfo/tahoe-dev
 206 [8]  http://allmydata.org/trac/tahoe/browser/CREDITS?rev=1122 XXX UPDATE PATCH NUMBER BEFORE RELEASE PLEASE --Zooko
 207 [9]  http://allmydata.org/trac/tahoe/wiki/Dev
 208 [10] http://twistedmatrix.com/trac/wiki/FoolsCap
 209 [11] http://erights.org/
 210 [12] http://twistedmatrix.com/
 211 [13] http://allmydata.org/source/zfec/zfec/
 212 [14] http://allmydata.com