在21世纪，我们威力无比的三种科技：机器人、基因工程和纳米技术正在使人类成为濒危物种。

作者：比尔·乔伊

自从我从事科技创造的那一刻起，我就关注其在伦理上的问题。但直到1998年秋天我才认识到我们在21世纪面临着多大的危险。这一不安始于我遇到雷-库茨维尔， 一位伟大的发明家，发明了为盲人服务的阅读机，还有许多不可思议的机器。

我和雷都是在佐治亚州Gilder市召开的远程通讯大会的发言者。会议结束后，我在旅店酒吧与他偶遇。当时我正在与John Searle，一位在加州大学佰克利分校研究意识问题的哲学家，坐在一起聊天。雷走过来与我们攀谈起来。直至今日，我们谈论的内容依然困扰着我。

我没有听到雷的演讲及其后来的座谈，而约翰没有，他们现在重拾未完的话题。雷认为技术进步的速度将会越来越快，我们将会成为机器人或者与机器人结合的合成人，或者与之类似的东西。但约翰不以为然，他认为这不可能发生，因为机器人不会有意识。

在听到这样的谈话之前，我一直认为有感觉的机器人只存在于科幻小说中。但现在，从一些值得尊重的人那里，我知道了那些机器人已经离我们不远了。我大吃一惊，特别是我知道雷已经证明自己有资格有能力描绘并创造出这一未来。我现在已经知道新科技，比如基因工程、纳米技术，能帮助我们重新改造这个世界，但智能机器人的现状与未来使我感到惊奇。

诸如此类的技术突破会使人厌倦。我们几乎每天都能听到关于科技进步的新闻。但这次可不是一般的预言。在旅店的酒吧里，雷给了我一本他即将出版的新书《智能机器的时代》的预印本。他在这本书中勾勒出了他心目中的乌托邦：通过机器人技术，人类将会得到几乎永生不灭的生命。在阅读这本书时，我心中的不安越来越强烈。我敢肯定，雷低估了机器人技术的危险性，低估了这一技术造成严重后果的可能性。

我发现以下反乌托邦情景让自己寝食难安：

新卢德主义的挑战

首先让我们假定计算机科学家开发出了比人类更能干的智能机器。在这种情况下，所有的工作将由大量组织良好的机器系统完成，而人类不再需要进行劳动。我们可能会充许机器自主地作出决定，或者人们依然保留对机器的控制。这两种情况都有可能发生。

如果允许机器自主运行，由于我们不可能猜测出机器是如何得出结论的，所以也就无法推测这一结果。我们将会发现人类的命运将掌握在机器手中。也许有人会争论说人类不会愚蠢到把所有的权力移交给机器，但我们正在谈论的既不是人类把权力让度给机器，也不是机器有意攫取权力。我们谈论的是人类很容易陷入不得不接受机器的自主决定，从而依赖机器生存的境地。随着社会及其面对的问题越来越复杂，并且机器的智能越来越高，人类将让机器作出越来越重要的决定，不为其他，只是机器作出的决定要比人类明智得多。最终，由于保持系统正常运行的决策是如此复杂，人类的智能再也无法承担，而机器却能胜任愉快。人们再也无法简单地拨掉机器的电源，因为我们是如此依赖机器，关机无异于自杀！

另一方面，人类保持对机器的控制是有可能的。比如，在上面所说的情况下，相当部分的人仍然控制私人拥有的机器，象汽车、个人电脑之类。但控制大型机器系统的是极少数精英阶层，就象当今社会一样。但与现在相比有两点不同：由于科技进步，精英阶层对广大群众有了更大的控制权，并且由于人类劳动不再是必需的，广大群众也变成了整个系统无用而多余的负担。如果精英阶层是冷酷无情的，他们可能会简单地把这些人消灭殆尽。如果他们是仁慈的，可能会用宣传或其他精神上、生物上的技术来降低人口出生率，直至这些人灭绝，从而完全拥有这个世界。还有另外一种可能性，如果精英阶层是软心肠的自由主义者，他们可能会扮演牧羊人的角色来照顾其余的人类。他们将会满足每个人肉体上的需要，让孩子们健康地成长，每个人都会忙于有益身心健康的爱好，任何对此不满意的人都会受到"特殊照顾"以纠正他们的"问题"。当然，生命是如此没有意义，以至人们不得不接受生物或精神上的改造以去除他们对权力的欲望，或者使之"升华"成无害的嗜好。这些经过改造的人类在这样的社会中也许会感到快乐，但他们肯定是不自由的，他们就像动物园中被饲养的动物。

直到你读到这一页，你才发现以上内容的作者是是荻尔多-卡辛斯基，著名的"大学炸弹客"。我并不是卡辛斯基的辩护者。在他17年的恐怖活动中，用炸弹夺走了3个人的生命，还炸伤了很多人。其中一枚炸弹使我的朋友David Gelernter严重受伤，戴维是我们这个时代最具天才与想象力的计算机科学家。就象我的很多同事一样，我感到我很有可能就是"大学炸弹客"的下一个袭击目标。

卡辛斯基的行为是谋杀和愚蠢的罪行，毫无疑问，在我眼中他是个卢德主义者，但简单地下此结论难以驳倒他的观点。虽然很难，但在上面一段论述中，我还是察觉到了一些真相，我感到我有责任来面对它。

我们不希望卡辛斯基想象的反乌托邦成为现实，但一个众所周知的关于设计与技术应用的问题可以用"墨菲定律"来描述："会出错的，终将会出错"（事实上，应当称之为菲纳络定律，这一错误本身就证明了菲格纳真是英明无比！）抗生素的过度使用已经造成最严重的问题：抗生素耐药性危机和越来越多的危险细菌。与之类似的事情曾经发生过：想用DDT杀死传播虐疾的蚊子，却使之产生DDT耐药性，其幼虫也获得了对多种药物的耐药性基因。

诸如此类令人惊奇的事故清楚地表明：系统各部分相互之间的作用与反馈太过复杂，对系统的改变会引起连锁反应，难以预料最终结果。特别是把人类的活动也考虑进来后，情况就越发复杂了。

我开始向朋友们介绍《智能机器的时代》一书对对卡辛斯基言论的引用；我递给他们卡辛斯基的书，让他们阅读这些引文，然后观察当他们发现是谁写下这些文字时的反应。大约在这一段时间，我发现了汉斯-莫拉维克的《机器人：通往非凡思维的纯粹机器》。莫拉维克是机器人研究领域的领军人物，他在卡耐基-梅隆大学创立并领导着世界上最大的机器人研究计划。这本书给了我更多的材料来考验我的朋友们。令人惊奇的是，那些材料大多支持卡辛斯基的论调。例如："近期（2000年早期）"一章。

生物物种在遭遇到占优势的竞争者时几乎毫无生存的机会。一千万年以前，南北美洲被巴拿马地峡分开。南美洲就象今天的澳大利亚，到处繁衍着有袋类哺乳动物，有袋鼠、袋鹿和袋虎等等。当连接南北美洲的地峡升起后，北方在新陈代谢与神经系统上只占很少优势的胎生物种只用了几千年的时间就替换并灭绝了几乎所有的南方有袋类物种。 

在完全自由竞争的市场上，占优势的机器人就会象北美胎生物种影响有南美有袋类物种一样影响人类的生存（也好象人类曾经影响无数其他物种一样）。机器人工业将会为了原材料、能源和空间展开激烈的竞争，其结果就是机器人的经济性超过人类。由于无法负担生活所需，人类将会被排挤出生存空间。 

可能还有可能给人类留下喘息的空间，因为我们并不是生活在一个完全自由竞争的市场中。政府会强制执行一些非市场化政策，特别是税收。通过这一明智之举，政府的强制措施能支持人类在机器人劳动成果的基础以一种较高的生存状态繁衍生息。这一情况可能会持续很长时间。

这真是一本反乌托邦的生动教材，并且会让莫洛维克感到很不舒服。他继续讨论我们在21世纪的主要是："制定法律来规范机器人工业的行为，确保与其持续的合作"。并描述了"一旦人类转变为毫无约束的超级智能机器人"会产生多么严重危险。在莫洛维克的观点里，机器人最终会战胜我们，人类毫无疑问将面结灭绝的命运。 

我决定在此时此刻与我的朋友丹尼·希里斯(Dany Hillis)好好谈一谈。丹尼是生产并行超级计算机的Thinking Machines公司的创始人之一。我不光是太阳微系统公司的首席科学家，同时也是一个计算机设计者。丹尼在信息和物理科学方面的知识超过我认识的每一个人。丹尼还是一位值得关注的未来学家，他对未来进行了很长时间的思考，并在四年前创立了Long Now Foundation，他还为过去10000年制造了一台时钟，尝试刻画出人类历史上值得纪念的时间段（见"Test of Time"《时间测试》，《连线》2003年8月78页）。 

因此我飞到洛杉矶与丹尼夫妇共进午餐。我倾其所有，向丹尼提出了一些困扰我的想法我思路供其考虑。丹尼的回答直指库茨维尔设想的未来情景：人类与机器人合二为一的时代很快就会到来。这一回答令我大吃一惊。总而言之，他认为这一变化会逐渐成为现实，人们迟早对此会习以为常。 

象人体克隆之类的技术已经使我们分外关注即将面对的伦理与道德问题。打个比方，如果我们使用基因工程技术改造我们的自己身体，或者改造不同的人群、种族，那我们就会摧毁我们民主政治的基石：平等。 

毫无疑问，基因工程巨大的威力会在其使用过程中带来严重的安全问题。我们的朋友Amory Lovins最近与Hunter Lovins合作写了一篇社论，他们从生态学的观念考察了这类危险。在他们所关心的问题中：“新植物学”（见《两个植物学家的故事》247页）。 Amory在其漫长的职业生涯中一直关注从人造系统的整体观点研究能量及资源效率；这样的整体系统观念常常发现以别的方式看上去非常困难的问题有着简单而高明的解决方法。这种方式也能在此得到很好的应用。 

读完Lovins的社论后，我看了Gregg Eusterbrook在《纽约时报》（1999年11月9日）发表的关于基因改良稻的非定官方评论。在大标题下写着：“未来的食物：除非卢德主义者胜利了，否则总有一天稻米将含有丰富的维生素。” 

Amory和Lovins是卢德主义者吗？当然不是，我相信我们都同意：只要我们适当地关注在物种之间转移基因所带来的危险，“金稻”及其内含的维生素A对我们是有利的。 

我们正在逐渐提高对基因工程与生俱来的危险性的关注程度，就象Lovins的社论所带来的反应。一般公众现在正很难得地在关注着基因改良食物，而且看上去他们不同意对这类食物不作特别标识的作法。 

但基因工程技术已经走得太远了。在Lovins的备忘录中，USAP（美国农业部）已经批准了大约50种改良作物可以不受限制地扩散，世界上有超过一半的大豆和三分之一的玉米现在已经含有来自其他生物的基因。 

在这里，非常非常重要的是，我所关注的基因工程领域，还有更重要的是，无论是军事上的，还是事故，还是蓄意的恐怖袭击，基因工程都给了他们制造白色瘟疫的强大能力。 

纳粹技术的许多奇迹第一次被描述是在1959由诺贝尔物理学获奖者理查德-费曼Feynman的一次演讲上，随后，以《底下还大有可为》出版了这篇演讲稿。在80年代中期，给我留下深刻映像的是Eric Drexler的《创造引擎》，在这本书中，他生动了描绘了原子级的物质生产，创造出了多么美好的乌托邦。在那里能非常方便地生产每一样东西。使用纳米技术我人工智能，几乎任何一种你能想像得到的疾病或身体上的缺陷都会得到完美的解决。 

接下来的一本书，《解放未来：纳米技术革命》，由Diexler参与写作，描绘了一个拥有分子级别“装配工”的世界中所发生的变革。“装配工”能生产成本低到不可思议的太阳能、通过增强人体免疫系统来治疗癌症和感冒，完全彻底地清洁环境，生产价格低到难于置信的、小到可发装到口袋中的超级计算机。事实上，任何由“装配工”生产的产品都不会比用木头生产的成本更高，太空飞行将比现在的越洋飞行更加方便，并且还能复活已经灭绝的物种。 

我记得我读完了《创造引擎》后，感觉还不错。作为技术人员，这本书让我感觉平静，也就是说，这本书向我展示的不可思议的纳米技术是可能的，确实也是不可避免的。如果纳米技术是我们的未来，我就不会对眼前这些问题有紧迫感。我就会到时顺理成章地进入Drexler的乌托邦，我就会在此时此刻尽情享受生活。我现在没日没夜地辛苦工作在他的未来中根本就毫无意义。 

Drexler的想像也带来了很多乐趣。我有时也向没有听说过纳米技术的人描绘一下纳米技术的奇迹。在用Drexler描述的东西调侃一下他们后，我还给他们一个我个人的课后作业：“用纳米技术建造一个帝国；但是你要想得到学分的话，就要再建造一个能摧毁它的力量。” 

我十分关心这些与奇迹伴随而来的明显的危险。正如我在1989年纳米技术大会上所说的：“我们不能单单只顾埋头研究科学而不关心与之相关的道德问题。”但在下一个物理学家参加的会议上，他们使我相信纳米技术甚至不能正常运作，或者，至少不能在任何时间都能正常运作。

随后，我移居到科罗拉多州，进行一项我领导的skunk工作。我的工作重点转向了因特网软件，重点是最后形成Java和Jini的一些想法。 

在我任期将满的那个夏天，Brosl Hasslacher告诉我纳米分子电子学已经实用化了。这的确是个新闻，至少对我来说是如此。我想对许多人来说也是这样。这一消息彻底改变了我对纳米技术的看法，让我不由自主回想起了《创造引擎》。在10年之后重读Drexler的著作，我沮丧地发现我记得其中冗长的一章《危险与希望》的很少很少一部分。在这一章，作者指出纳米技术可能会成为“毁灭的引擎”。在今天重读这段警世名言时，我对Drexler提出的如此天真的防卫方案感到惊奇！并且我认识到的危险性要比他当时所认为的大得多！（由于预言并描绘了纳米技术带来的众多技术和政治问题，Drexler在80年代末创立了Foresigh研究所，用以帮助社会大众迎接即将到来的先进科技—其中最主要的是纳米技术。） 

使“装配工”成为可能的技术突破很有可能在下一个20年内实现。在未来10年内，分子电子学，能把单个分子排列成为电路器件的纳米技术，很快就会成熟并成为非常有利可图的技术成果，并招致对纳米技术各个领域投资的大幅增长。 

但不幸的是，就象核技术一样，用纳米技术来进行破坏活动要比进行建设活动容易得多，纳米技术在军事或恐怖袭击活动中有着十分明确的用途，并且恐怖分子不需要用自杀性攻击方式来释放大规模杀伤性纳米技术装置，他们能建造具有选择性破坏能力的纳米装置，例如仅仅对特定地区或者具有显著基因、生物特征的人群。 

为了得到纳米技术巨大威力而进行的浮士德式的交易的直接后果就是我们正在玩火—我们可能会我们包容万物的生物圈。 

而Drexler却如是说： 

不比现在的太阳能电池板效率更高，“有叶树木”会排挤掉正常的树木，即那些到处都是而又不能食用的树木。粗野而又无所不能的“细菌”会排挤掉真正的细茵，它们象风中的花粉一样传播、快速地繁衍，并且把生物圈中生命降解成象灰尘一样的东西。如果我们没有做好准备，危险的复制者可能会太粗野、太小、太快地传播而失去控制。对我们来说，即使是控制病毒和花粉就已经让我们伤尽脑筋了。 

在熟知纳米技术的人中，这种“灰胶”的威胁，以“灰胶问题”而广为人知。尽管大量失去控制的“复制者”既不是“灰”色，也不呈“胶”状。但“灰胶”这个名词是指“复制者”能涂去可能比杂草crabgrass更少生气的生命。它们可能在生物进化是优胜者，但这并不会使它们高人一等。使这一事实更加明白无误：我们负担不起此类“复制装配工”引起的事故。 

比起天降火球或冰雪覆盖，“灰胶”极有可能是我们人类在地球上冒险生涯的悲惨结局。而这一切可能仅仅由于一次简单的实验室事故。 

在基因工程、纳米技术和机器人(GNR)中的毁灭性的自我复制威力极有可能使我们人类发展嘎然而止。自我复制是基因工程的一种主要研究方法，它利用细菌的自我复制机制，而主要的危险来自于纳米技术的“灰胶”。横行霸道的机器人的故事，比如《星际旅行》中的博格人，通过复制或变种来脱离其制造者施加的道德约束，这一情景在我们的科幻小说与科幻电影中表现得淋漓尽致。自我复制的本能可能比我们想象得更加贴近物质本性，因此也就更加难以控制，如果我们还有机会来控制话。Sturoot Kauffman最近在《自然》杂志上发表了一篇名为《自我复制：缩氨酸也能行》的文章，他在文章中指出32-amino-acid缩氨酸能“自我催化自身组织”。我们不知道这一能力在自然界有多广泛，但Kauffman认为这一现象提示我们“自我生产分子系统方式比沃森-克里克”的双螺旋base-pairing要基本得多。 

事实上，我们多年以来已经得到了明确无误的警告：广泛传播的GNR知识带有与生俱来的危险性。仅仅只需要知识就能造成大规模的破坏。但这些警告还没有广为人知；很明显，公众对此没有足够的关注，而传播有关这一危险的信息对许多人来说却又无利可图。 

在我们的一生中，有多少危险要去面对。难道核武器还不够，还要加上这些科技吗？我们人类灭绝的危险到底有多高？ 

哲学家约翰-Leslie经过研究得出人类灭绝的危险至少有30%。然而，雷-库兹维尔不顾对他过于乐观态度的指责，依然相信我们更有可能平安无事。但是，这两种态度都不应当提倡，而且他们都没有考虑到另外一引起可能性：那些信誓旦旦不会危害到人类的事物现在都发生了可怕的变化！

面对这样的评估结果，一些严肃的人们已经开始建议我们一有可能就要移民到外星球。我们可以用冯-若伊曼的probes来克隆galaxy子，从一个星球跳跃到另一个星球，到处繁衍生息。在50亿年后，我们就有需要这样做（或者更短一些，在30亿年后，如果太阳被步步紧逼的仙女座撞击的话）。但是如果我们进入库兹维尔和莫拉维克所说的世界，那到本世纪中叶，我们可能就要这样做了！

这里的道德约做含意是什么？如果我们必须为了种族生存而移居外星，谁该为人类这样的命运负责？（我们自己，after all），谁最后离开？就算我们遍布整个宇宙，难道我们就不会重蹈覆辙吗？或者，在后来发现，老问题依然如影随形吗？我们种族在地球上的命运，我们种族在银河系中的命运，看起来有着解不开的关联。

另外一种想法是建立一系列防线来对抗每一种危险的科技。由里根政府提议建造的战略防御计划就是建立一条对付苏联核打击的防线的一个尝试。但知情人Arthur C-Clarke认为：“假设耗费巨资真能建立起区域防御系统，只要它漏过了很少部分的部分的弹道导弹，国家保护伞的touted就毫无意义。”路易斯- Alvavrz可能是本世纪最伟大的实验物理学家，对我形容这些计划的拥护者是一些“没常识的聪明人”。

克拉克接下来说道：“盯着我们云翻雾扰的水晶球，我猜想整体防御武器会在一个世纪内成为现实。但同时，其所防御的对象却能象日用品一样从流水线上源源不断地走下来，它们早如此恐怖，以至于我们根本不会为此感到烦恼，就象原始人对弹道导弹毫无感受一样。”

在《创造的引擎》一书中，Eric Drexler提议我们为生物圈建立一条基于纳米技术的防线，一种免疫系统，以此来防御所有可能从实验室中逃出的危险复制者。但他建议的防线自身也是极其危险的，没有什么能防止它产生发展过度而摧毁生物圈。

类似的困难也存在于建立对付机器人技术或基因技术的防线中。这些技术的威力过于强大而难于在有限的时间内加以防御。就算我们有可能能建立这样一条防线，开发其技术的副作用就象我们极力防御的技术一样危险。

以上可能发生的事情要不是我们极力反对的，要不就是我们不能完成的，或者两者皆是。在我看来，唯一现实的选择就是放弃、限制那些太过危险的技术研发，限制我们对此类知识的追求。

是的，我的确知道知识有助于我们，特别是发现真理的探索。我们从远古时代就开始寻找知道。亚里士多德在其《形而上学》中开篇明义：“人天生求知。”作为我们社会的根本价值，我们对信息获取的知道，并认识到尝度限制获取发展知识所引起的种种问题。在近代，我们开始崇拜科学知识。但是，忽视有力的历史教训，允许自己获取并无限制发展知识，就会使我们陷入物种灭绝的境地，而常识要求我们再次检验甚至很基本的、长久以来奉为圭杲的信念。

这是尼采在19世纪末告诫我们的，不仅上帝死了，而且对科学的信任，必竟不可否认地存在着，不能----的起源到应用微积分学，它必须起源于对追求真理的意愿，不顾众多危险的事实。“Truth at any price”的无用与危险已经不断被证实。

这是我们现在完全而对的未来的危险。我们追寻真理的结果。如果科学技术追求的真理会使我们亡族灭种，那它就可以被看作危险的“新上帝”。

如果我们同意，作为一个物种，我们需要什么？为什么需要它们？我们向哪里进发？为什么是那里？我们才能使我们的未来远离危险，然后我们才有可能知道我能或应当放弃些什么？另外，我们能很容易地开始基于GNR技术的军备竞赛，正如在20世纪进行的基于NBC技术的军备竞赛。一旦这样的军备竞赛开始，就非常难于停下，这可能是最危险的冒险。

我们需要知道，此时此刻，只是我们的恶习、我们的欲望、我们的经济体系，我们的竞争在驱使着我们，而不是象二战时的曼哈顿计划，那时我们面临着不共戴天的敌人对我们文明的致命威胁。

我相信我们都希望我们的共同价值观、道德能决定我们的所作所为。如果我们在过去数千年间已经获得了更多的团体智慧，那么对人类的结局展开对话就更加现实，并且我们解除威力难于置信的危险的行动看起来就不象我们想象的那样麻烦。

人们可能会想我是出于自我保存的本能而进行这样的对话。很明显，一个人有这样的欲望，然而作为一个物种，我们的行为看上去不象是由我们的好恶所决定。在处理核武器的威胁时，我们经常对自己、对别人撒下弥天大谎，因此使我们面临更大的风险。无论是出于政治动机，或者是因为我们不想多费脑筋，抑或是因为面对如此严重的威胁我们惊慌失措。真正的原因我可能永远不会知道，但这确实不是个好的先例。

新潘多拉之盒：基因技术、纳米技术、机器人技术即将打开，但我们看上去还毫无查觉。一旦打开就很难关上盒子。不象铀或钚，它们不需要开采或提炼，它们能自由拷贝。一旦它们逃脱，它们就再无踪影。虽然是言不由衷的恭维话，丘吉尔强调这样一个事实：美国人民和他们的领导“在检验过每一条可能的道路之后，就会做出正确的决定。”而在这里，我们必须更有先见之明。我们只能做正确的事情，因为一次失误就会让我们全盘皆输。

正如Thorra所说：“我们并不是在高速公路上驾车飞奔；而是被什么东西驾驭着。这个东西就是我们奋力反抗的。现在的问题是，到底谁是谁的主宰？我们能从自己所创造的技术手中幸免于难吗？”

我们正被推入到一个新世纪，没计划、没控制、没刹车。我们已经深陷泥潭了吗？虽然我并不是这样认为，但目前我们没有努力自救，最后用来确保我们能够走上正确道路的机会已经在快速远去。我们已经有了第一台宠物机器人，还拥有了用于商业用途的基因工程技术，并且纳米技术也进展很快。这些技术已经取得了很大进展，不象曼哈顿计划和三位一体核试验，我们不是非要完成最后的步骤，才能证明一项技术深邃而又艰难。在机器人技术、基因工程，或纳米技术中，自我复制的技术突破随时会到来。就象在哺乳动物克隆成功后，我们到那时又会大吃一惊。

并且，我相信我们有对希望强烈而又持久的意愿。上个世纪，我们在处理大规模杀伤性武器上的尝试提供了一个光明的先例以供我们参考：美国在没有任何先决条件的情况下单方面放弃了生物武器的开发。这一行动来自于这样的现实状况：当费尽心机开发出恐怖的武器，却有可能被人很容易地复制并流入到无赖国家或恐怖组织手中。

有一点很清楚：当我们紧随其后开发用以制造这些武器的技术时，就会给我们增加更大的威胁；而我们不这样干时，我们反而更安全。我们在1972年在生物武器协议上放弃生物武器，并在1993年的化学武器协议上放弃了化学武器。

为保持相当大的与我们共存超过50年的核武器威慑力，美国参议院否决了《全面禁止核武器实验公约》，说明放弃核武器并不是一个简单的政治问题，但随着冷战的结束，我们还有一个独一无二的机会来避免多边军备竞赛。

基于BWC和CWC对生物和化学武器的放弃，成功的废除核武器能帮助我们建立放弃危险技术的良好习惯（事实上，只要销毁世界范围内大约100件核武器，就大概相当于二战所有武器摧毁能力的总和，这应当是比较容易完成的任务，我们就能消除核武器对人类的威胁）。

事实证明，是否真正放弃危险技术将是件非常困难的任务，但并不是不能解决的问题。我们非常幸运，我们已经在BWC威胁存在的情况下成功完成了类似工作。我们的主要任务将是把以上经验应用到那些本为商业用途开发，但有可能用于军事的技术上。在这里最重要的是透明性。核查的困难程度与从合法的活动中甄别出需要放弃的内容的困难程序直接相关。

坦白的说，我认为我们在1945年面临的情况比现在还要简单一些：核技术可以很容易地划分为商业与军事用途，可以藉由检测原子的自然特性来进行监控，并且很容易地测量出其辐射量。进行军事用途的研究必须在国家级的实验室中进行，比如洛斯阿拉莫斯，研究成果会尽可能的秘而不宣。

而GNR技术不能很清楚地划分为商业和军事用途；它们在商业市场上极具潜力，仅仅在国家级实验室中很难跟踪其技术进度。由于它们有广泛的商业用途，需要一种类似对付生物武器的检测方法来强制某些机构放弃对GNR的研发。这一方法不可避免地在个人隐私、知识产权与保证我们全体社会成员的监察要求之间引发冲突。由于失去个人隐私与行动自由，这一方法毫无疑问会受到强烈的反对。

监察工作需要科学家与工程师应用严格的伦理指导规范，即与希波克拉底誓言类似的规范，这样他们才有勇气在需要时举起红牌，甚至为此会出极高的个人代价。这将回应50年前广岛、长崎核爆之后由诺贝尔将得主汉斯-Bethe（曼哈顿计划资格最老的幸存者之一）的呼吁：“所有科学家放弃并停止创造、发展、改进及生产核武器和其他具有潜在大规模杀伤性能力的武器。”在21世纪，也就是要求那些正在研发NBC和GNR技术的人们加强个人责任并提高警惕，以避免大规模杀伤性武器和生产大规模杀伤性武器的知识泛滥于世界上。

Thoreau还说道：“我们将会盲目到我们所能提供的数据之一。”我们每个人都在寻求快乐，但对此值得发出疑问：我们是否要冒全军覆灭的危险来攫取更多的知识或财富；我们的物质需求是有限有，这是尽人皆知的常识，并且我们都知道某些知识很危险，必须被放弃。

我们不应当对这些危险的知识付出代价，不应当对与之同步增长的灭绝危险视而不见。不顾这一切而去追求永生不死。永生不死，也许是我们最初的乌托邦梦想之一，但肯定不是我们唯一的梦想。

我最近有幸遇见了杰出的作者、学者Jacques-Attali，他的著作《Liqnes d’hoeizons》(《千僖年》)预先描述了即将到来的无所不在的计算，使我产生了把Java、Jini运用到这一领域的灵感。在他的新书《Fraternites》中，描绘了在过去的岁月中，我们的乌托邦之梦曾经经过了怎样的变迁：

“在科学的萌芽期，人们认为他们在地球上的生活只是一座痛苦的迷宫，在其尽头耸立着死亡之门，通向上帝的宫殿，并进入来世。希伯莱人，还有后来的希腊人勇于从神的统治下解放自己，并梦想有一座充满自由的理想之城。另外一些人注意到了商业发展，他们明白一点点自由都会使人与人之间互相疏离，所以他们寻求的是平等”。

Jacques使们明白了在我们今天的社会中这三种不同的乌托邦目的是如何相互冲突。他接下来描述了第四种乌托邦，建立在利他主义上的兄弟会。兄弟会把个人的快乐和其他人的快乐联系在一起，定下自助的誓言。

这使我对库茨维尔的梦想的疑问更加具体化了。通过机器技术来使我们不朽，几乎永生不死的技术可能并不是我们最想要的乌托邦，并且这追求会带来明显的危险。也许我们该重新思考一下我们的乌托邦选择。

我们能在哪里发现新的伦理基础来设定前进路线？在丹增嘉措喇嘛的著作《新千年的道德》中找到了对我极有启发的灵感。有一点可能广为人知，却少有人特别关注：丹增嘉措认为对我们而言，最重要的事情是用对他人的关爱与怜悯来指导我们的生活，我们的社会需要发展出更加坚实的共同责任感和互相依赖的观念。他计划为个人及社会制订出看上去与Atatali的Friternity友爱乌托邦一致的绝对伦理教条。

丹增嘉措更进一步认为我们必须明白是什么是人们感到快乐，有明确的证据表明无论是物质进步还是对知识的追求都不是关键，只依靠科学及其追求所能做到的是有限的。

我们西方的快乐观念来自于古希腊，定义为“在有限的生命中以充满活力的活动竭力追求卓越。”

很明显，我们需要在我产的生命中找到值得去做的的挑战和足够的生存空间与时间，如果我们在无论什么条件下都要寻求快乐的话。但我相信我们必须寻求另外一条道路来发泄我们的创造激情，超越不断的经济增长；这种增长已经极大地造福于我们几个世纪之久，但它并不能给我们带来真正的快乐，我们现在必须在通过科学技术产生的无约束、无方向的增长追求和与之相伴而来的明显的危险之间作出选择。

自从我与库茨维尔、约翰相会以来已经一年多了。我环视四周，在那些我发现他们曾经和我一样关注我们的困境的人们发妯的要求慎重考虑并放弃危险科技的呼吁声中，我又有了希望。在我的科研经历中，我同时也感受到个人责任的重大意义，不是对我曾经从事的工作，而且是对我可能要去做的工作。

但许多人明知某些科技的危险性却仍然保持沉默，当你逼问时，他们只是故作高深地说上一句“这没什么新鲜的”来敷衍了事，就好象只关心一下可能会发生什么就足够了。他们告诉我，大学里到处都是研究此类玩意的生物伦理学家，你提到的那些东西早已经书架蒙尘了，并且都还是大师之作，你所担心的、所争论的已是老生常谈。

我不知道这些人把他们的恐惧藏在何处。作为复杂系统的设计师，我是作一名多面手进入这个领域。但这应当减少我的忧虑吗？我深知怎样被如此权威地论述、讨论、演讲时提到，但这就意味着这些危险已经传达给人们了吗？这就意味着我们能减少我们面临的危险了吗？

知而不为是不恰当的。我们能怀疑知识已经成为我们对会自己的武器了吗？

原子物理学家的经验已经清楚地表明需要对太快增长的危险、对那些能甩开人类独自发展的技术方法负起个人责任。我们能，就象某些人曾经做过的那样，创造出没有时间来铲除的不可克服的问题。如果我们不想我们的发明产生的后果产生类似的惊讶与震撼，我们必须要三思而后行。

在我的职业生涯中，我一直致力于提高软件的可靠性。软件只是个工具，并且作为工具的建造者，我必须与我创造出的工具应用到的用途斗争。我曾经相信使软件可靠性更高、用途更广，将会使这个世界更加安全与美好，如果我开始与之相反的信念，我就会用道德上的义务来终止我的工作，我现在能想象到这样一天终会到来。

当这些都离我而去，虽然我不会怒气冲天，至少也有一丝忧郁。从此以后，科技进步将会叫人患得患失。

【免责声明：本文翻译仅为外语学习目的，原文作者个人观点与译者及译言网无关】