所有这些都很隐晦，直到它们开始介入我们的生活，防止我们伤害自己。那时我们才会明白真相——谁是圈养者，谁又是被圈养者。
你们可能会想：也许这位自命不凡的专家真能为我们带来关于前景的精辟预言？话语很重要。我们对事物的描述会影响我们的思考。话语可以描述、留存、交流，同样也能勾画我们的理解、塑造我们的想象。我们会自然而然地用过去的经历来解读新的经历，而被我们选作参考点的经历会影响我们对世界的看法。
在前面的章节中我提到，因为引入创新科技而导致了工作本质的变迁。对于语言来说，也是如此。因为我们需要讨论和交流的事物变化了，所以话语也相应改变了。而且就像劳动市场一样，我们的词语有时候跟不上科技进步的节奏。有时，我们词不达意；其他时候，由于概念太新，合适的词语还没有出现。这成了一个问题。如果你无法谈论这个话题，也就很难理解正在发生的事，更别说制订适当的计划和制定政策了。
语言用一种有趣的方式来适应并满足我们的需求。有时我们会发明新词，比如尾声[35]、裸考、秒杀、给力等；有时候我们会“两词造一词”，融合两者的意思，比如早午餐（brunch, breakfast+lunch）、雾霾（smog, smoke+fog）、汽车旅馆（motel, motor+hotel）。但是大多数的时候，我们会为新的含义重新启用旧词，并让延伸或改变后的意义成为这个词的常规解释。在为了适应科技进步而改变的词语中，我最喜欢的例子之一就是“音乐”这个词。留声机最早由托马斯·爱迪生发明于1877年，并在19世纪80年代由亚历山大·贝尔（Alexander Graham Bell）使用蜡筒作为录音介质进行了改进。在此之前，如果你想听音乐的话，唯一的方法就是听人现场演奏。制作行为和制造声音两者的概念无法相分离，所以也没有必要去考虑制作音乐对于整体概念来说到底有多重要。
将灵魂注入机器
当人们第一次听到录制的音乐时是如何反应的？你可以想象一下被称为“进行曲之王”的约翰·菲利普·苏萨（John Philip Sousa）的严厉回应，很多耳熟能详的军队进行曲都是他的作品（比如《星条旗永不落》）。对于新生的录音设备，苏萨在1906年写了一篇名为《机械音乐的威胁》（TheMenace of Mechanical Music）的抨击文。“直到此刻，整个音乐的发展历程从第一天起都在表达一种灵魂的状态；换句话说，把灵魂注入音乐……夜莺的歌声之所以愉悦是因为歌声是她自己唱出来的……那些呆板的复制机器的邀请者，疯狂地想要在任何场合都提供音乐，他们想要代替掉……伴舞乐队……很明显，他们认为没有什么领域是不能侵入的，也没有什么宣言是过分的，”他总结道，“音乐让我们了解世界上一切美好的事物。希望我们不要阻碍这些美好，不要让机器日复一日地给我们讲故事，因为机器是没有变化、没有灵魂的，它辜负了上天独赐予人类的乐趣、激情以及热情。”[1]换句话说，对于苏萨而言，真正的音乐需要一个人创造性地表达自己的真实感受。从这个角度说，机器无法制作音乐——机器发出的噪音和音乐不是一回事。即使听起来很相像，这种音乐也缺乏真正的“音乐”所必需的情感力量。
今天如果有任何人这么说都会被认为是一个怪咖：苏萨先生真傻啊。很明显，音乐就是音乐，无论它是怎么制作的。
难以置信的是，这个论点一段时间以前又重出江湖了。数码录制（相比于模拟录制）刚出现时遭遇到了唱片爱好者的强烈抨击。他们严肃地认为有些东西缺失了，当你用数字形式表达音乐时，一部分“灵魂”流失了。很多人认为凡是数字音乐无不平庸沉闷，缺少模拟音乐的深度和微妙之处。比如，在1973年创立《绝对声音》杂志（TheAbsolute Sound）的哈利·皮尔森（Harry Pearson）跟随了苏萨的步伐，声称：“黑胶唱片毫无疑问更具音乐性，CD让音乐失去灵魂。音乐中的情感消失了。”在唱片爱好者中，这种观点并不少见。迈克尔·弗雷莫（Michael Fremer）是乐评杂志《追踪角》（Tracking Angle）的编辑，他的话在1997年时还被引用过：“数字保存音乐的方式就像是用甲醛保存青蛙一样：杀死它，然后让它长存。”[2]
同样，任何表达这样观点的人在今天都会被认为是疯子。很明显，音乐就是音乐，无论它的存储方式如何。所以，“音乐”的现代概念不仅包括苏萨反对的模拟录制，还包括皮尔森和弗雷莫反对的数码录制。相同的词，意义却延伸了。
但是，在我们“解散”这些表达了过时而且无知观点的先生们之前，先来考虑一下如果你碰到这样的情况会怎么想。未来，当你的孩子要求计算机播放“迈克尔·杰克逊”时，计算机没有重复“流行乐天王”专辑中任何一首真实录制的歌曲，而是立即创作合成了一系列真假难辨的歌曲，任何一位对他毕生之作不甚了解的人都无法分辨其真伪，这些歌曲淋漓尽致地表现了他独特的嗓音。你是否会认为这种人工智能创造的音乐不是真正的“音乐”，而且肯定不是迈克尔·杰克逊的，因为无论怎么看这种音乐都不是来自人类艺术家，更别说来自大师本人了？（为什么会有人忍受这些？当然是为了节省版权费。这样做不会侵犯他的版权。）
如果你把这场关于音乐的讨论当作无用的迂腐行为，就大错特错了。我们一度使用的词语会对我们的思考和行为造成真实而严重的影响。
你不必非要拥有一辆车
你可以想想自动驾驶汽车的例子。20世纪初汽车刚出现时，人们把车称为“不用马拉的车”，因为马拉的车是这种新奇机器最近的参考点。今天又有多少人知道“马力”其实指的是真正的马的力量？我们现在也是因为相同的原因谈论“自动驾驶汽车”。这两个词就是用旧科技形容新科技的例子，但同时，我们所用的这些词语却模糊了这些事物真正的潜力。“自动驾驶汽车”听起来像是一种很厉害的新技术，你可以用它来改装你的下一辆座驾——就像是倒车雷达或倒车影像一样。它和你的旧车没什么两样，只不过你现在不用自己驾驶了。但是事实却是，这种新科技将会革命性地改变我们对交通的理解，同时也会对社会造成强烈的影响，然而这些词却没有表达出这些深层的含义。一个更好的描述应该是“个人公共交通”。
为什么是“公共”呢？一旦这种科技变得随处可见，也就没有什么必要非要拥有一辆车了。当你需要一辆车的时候，你只需要召唤一辆，就像今天的出租车一样，只不过到时车会出现得更可靠、更及时。当你下车后，车就会静静地跑到最近的集结待命区，等候下一位乘客的召唤。几十年之后，你不会再去考虑买一辆属于自己的车，就像今天你不会想买一节私人火车车厢一样。[3]
这种系统将对经济、社会以及环境造成的影响并没有任何言过其实的成分。有研究预测，交通事故将会减少90%。仅仅在美国，这种系统每年拯救的生命数量就相当于10次“9·11”袭击。同样仅仅在美国，车辆事故每年还会造成400万起人身伤害，由此造成的花费达8 700亿美元。[4]相应的还有交通执法机关（交警）的开支、损坏的车辆、车辆的维修以及交通法庭。更别说我们需要的汽车数量仅仅为现在的1/3。[5]而且我们说的也不是几百年以后的事：专家们统一认可的意见是在20～25年后，75%的汽车都会是自动驾驶汽车。
仅仅这一项创新就能改变我们的生活方式。车库会像室外厕所一样消失，无数浪费在停车场上的宝贵空间都将被重新利用，这些土地的主要用途将是大量新房产。[6]环境污染将会大幅度降低，同时减少的还有污染对健康的影响。青少年不需要再经受“学会开车”这个成人礼。交通拥堵将成为存在于历史中的遥远记忆，更不用说可以完全取消对于速度的限制了，这将大幅减少通勤的时间。反过来说，通勤时间的减少也会扩大你的住所和工作地点之间的距离，从而降低城市近郊的房地产价格，并抬高更远地点的房价。个人效率将会大幅度提高，因为你在车里可以做别的事，而不需要开车。汽车保险将成为过去。你可以在当地的酒吧玩一晚上，而不用担心自己是否能安全到家。送比萨的人将会变成一台移动自动贩卖机。给力！想想对于一般家庭来说，这会造成多大的经济影响。
人工智能的
力量
HUMANS
NEED
NOT APPLY
根据美国汽车协会（AAA）的说法，2013年车主在车辆上的平均花销每年高达9151美元（其中包括折旧、油、保养以及保险，但是并不包括资金成本），行驶里程达2.4万公里。但是美国平均每户家庭有两辆车，[7]所以每年的花销就达到了1.8万美元。也就是96美分每公里，而由众人分享的自动驾驶汽车的使用费据估计只有24美分每公里。[8]所以普通家庭可以期待他们在个人交通上的花销将会下降75%，更不用说他们从一开始就不需要凑钱买车，甚至借钱买车了。节省下来的钱和一户家庭现在花在食物上的钱（包括在外就餐）差不多。[9]如果你的食物都是免费的，那么你现在手头能多出多少钱？根据一篇登载在《麻省理工技术评论》（MIT Technology Review）上的分析，对于美国来说这里面有“每年超过3万亿美元的潜在财务效益”。[10]这可是现在GDP的19%。
简而言之，单单这项人工智能的应用就会改变很多事情。这项技术会让我们变得更富有、安全、健康。它会毁掉某些工作，比如出租车司机，并创造新的工作，比如服务高尔夫球车上所有乘客的服务人员，[11]而且未来还会出现更多可能具有同样影响力的新科技。这就是为什么我坚定地确信未来将是光明的——只要我们能够找到公平分配收益的方法。
图灵测试的真谛，让人包容机器
我们来看看另一个话语为了适应新科技而转变的例子，这个例子来自艾伦·图灵的预言。在1950年时，他写了一篇很有思想的论文名为《计算机器与智能》（Computing Machinery and Intelligence）。这篇文章开篇说道：“我提议思考这样一个问题，‘机器能思考吗？’”他接下来继续定义他所说的“模仿游戏”是什么，我们现在称其为图灵测试。在图灵测试中，一台计算机将试图让一个人认为它是人类。判定者需要在一组人类选手中找出计算机。所有选手在物理上都和评委相分离，他们之间只通过文字来交流。图灵推测道：“我相信在接下来的50年后，我们将可以对计算机进行编程……让计算机更好地参与模仿游戏，而询问者在问话5分钟后平均能成功鉴别出计算机的概率不会超过70%。”[12]
正如你所想象的，热心的极客们经常会举办这样的竞赛，到了2008年，合成智能已经能在前25%的时间里（即1分15秒）让评委认为自己是人类了。[13]还不错，要知道大部分进入比赛的程序都是业余玩家在空闲时间完成的。
图灵测验被广泛解读为人工智能的“成人仪式”，如果机器具有能够成功过关的智慧力量，就能获得人类的尊重。但是这种解读却是错误的；这并不是图灵的本意。如果仔细研读他的论文就会发现一种不同的意图：“我认为最开始的问题‘机器可以思考’太没有意义了，不值得讨论。然而我相信，在这个世纪末，对于词语的使用以及总体的文化思想将会发生巨大的变化，届时当我们谈到机器会思考时将不会再受到反驳。”（他加上了强调。）[14]
换句话说，图灵并不想要建立一种测试，如果机器通过测试就可以被称为智能；他是在推测，到了世纪末时，诸如“思考”和“智能”这样的词的意义将会改变，从而包容任何能够通过他的测试的机器，正如“音乐”的含义的改变，包容了机器通过复制音乐人的声音而制作的音乐。所以图灵的预言并不像大部分人理解的那样，仅仅是关于机器能力。
很难想象，如果你回到1950年，听到有人把一台计算机所做的工作称为“思考”，这时你会怎么想，但是我断定你会觉得这种言论很刺耳，或者你顶多觉得这话听起来像是一种比喻。我猜测，如果你为了展示Siri的自然语言自动回答模块而带着自己的iPhone手机穿越回去，人们将会感觉很不安。能够用来理解这个奇怪机器人的标准只有人类，所以他们可能会严肃地质疑这是否是一件在道德上可以接受的事，因为这是一种很明显具有意识的存在，却孤独地生活在一个狭小而单一的平板中，这显然是一种惩罚。但是在今天，苹果公司对于Siri的常规宣传是“智能助手”，没人提出异议，而且任何理智的人都不会认为Siri是有思想的。[15]
同样在今天，我们有理由把参加《危险边缘》的IBM超级计算机沃森形容为能“思考”、能自己回答问题并表现出“智能”的机器，但是没有一个理性的人会把这种智能和人类灵魂所具有的特点相联系，不论这些特点是什么。虽然沃森无疑在回答关于自己的问题时能做到事无巨细，而且很明显它监控着自己的思考过程，但是我们也很难把这种行为称作内省。
图灵配得上所有赞誉，他是完全正确的。
奴隶成了主人
我们轻易就能俯视早期的质朴时代，但是我们也可以停下来想一想，其实我们就是现在这场变革的另外一端，而且这场变革很有可能就发生在我们的有生之年。改写一下图灵的说法，我预测在50年内，对于词语的使用以及总体的文化思想将会有巨大的变化，届时当人们认为合成智能是活物时将不会再受到反驳。要理解为什么会这样，你必须明白这些人造物很有可能会逃脱我们的控制，变得充满“野性”。
正如我在第5章讨论的那样，具有足够能力的合成智能极有可能在法律面前被认定为“人造人”，而这完全是由各种现实原因和经济原因造成的。
但是这条路危机重重。在短期，肯定有一些权利看起来很适合赋予人造人，但是这些被赋予的权利会在未来对人类社会造成严重破坏。其中最危险的就是签订合同和拥有资产。
这些权利看起来稀松平常。毕竟，对于公司来说这两件事都可以做。但是真正的风险在于公司和合成智能之间有一个很容易被忽视的区别：合成智能有能力自己采取行动，而公司需要人作为代理才能行动。没有什么能阻止合成智能——无论是法律定义其为人造人，还是把它包装在公司的外壳里，在我们的游戏中击败我们。这种强大的存在可以积累大量财富、占领市场、收购土地、拥有自然资源，或是最终雇用人类成为它们的政治候选人、受托人或代理——这种情况还算是好的，至少它们还用得上我们。
奴隶成了主人。
野心勃勃的机器人继承者
你可能觉得这挺傻的。毕竟，必须有人拥有并且控制这些定时炸弹，但事实并非如此。野心勃勃的企业家和权贵可不是以谦虚著称的群体，他们会通过已知的法律手段比如信托资产的方式来保护他们的企业，把其作为一种能够自我管理和自动调节的资产传递给子孙后代。历史中满是这样的例子，大亨们在死去很久之后还能限制继承人管理其帝国的权利，例如，约翰·洛克菲勒家族信托基金。想要保留这样的遗产吗？那就不要碰爷爷的“自动取款机”。
HUMANS
NEED NOT
APPLY
人工智能的未来
拥有自己的人造人
情况会越来越糟。我们说到的继承人也可以是人造实体本身。
如果人造人可以拥有资产，它就可以拥有其他人造人；机器人也可以购买并管理一群和他一样的机器人。但是最可怕的事情莫过于人造人拥有自己了。公司不能这样做，因为它需要人的指导，也需要人来代表公司行动——必须有人把灯打开，签署合同。事实上，有一种很多公司都趋之若鹜的管理概念，叫作“关灯工厂”，指的是一种已经完全实现自动化的设施，对于该设施来说，已经没有必要再把钱花在电灯上了。如果把谈判和签署合同的能力加上的话，人造人就可以马上大显身手了。原则上，人造人可以购买自己然后继续发挥其作用，这将是新时代管理层的收购概念。
虽然看起来很奇怪，但是这在美国历史上是有先例的。奴隶，曾被认为是一种财产，可以“自我购买”他们的自由。不用说，这当然很困难，但也并非不可能实现。事实上，到了1839年，俄亥俄州辛辛那提的半数奴隶人口都是通过自赎重获自由的。[16]
这种局面的形成并不需要人造人具有多少智能。它不需要有意识、自知或者总体上具有人类这样的智能；它只需要能够自立，顶多有能力适应变化的环境就行了，就像今天简单的病毒一样。
接下来会发生什么？在此之后，事情会变得有点奇怪。我们的生活水平会继续提高，只要这些实体能给我们提供足够划算的买卖，我们就会经不住诱惑跟它们做生意。但是我们分得的收益相比于创造的价值来说相形见绌。
实体积累的财产可能会被埋藏在无形的资源库或者触不可及的海外账户中，这些财产不知所终，也不会为人类造福，但是没人能够觉察。它们可以做到反向淘金，即把金子重新埋进地下，这种错误的努力是为了贮藏资金，以求渡过可能出现的困难时期，这些原则和它们的创造者为其设立的目标是相一致的，而这些节俭的创造者早就被遗忘了。
HUMANS
NEED NOT
APPLY
人工智能的未来
失去大局观的人类
书籍和电影中描绘的机器人大决战不会以军事冲突的形式出现。机器不会造反，然后拿起武器挑战我们的统治，而是会缓慢而隐秘地接管我们的经济，当我们自愿把控制权交给看起来正在帮助我们的合成智能时，这个过程几乎是无法觉察的。随着我们对这些系统逐渐加深的信任，让它们运送我们、介绍合适的对象、定制每日新闻、保护我们的财产、监控我们的环境、种植和烹饪食物、教育我们的孩子或是照顾家中的老人。我们很容易就会失去大局观。它们会做到刚刚好让我们满意，同时把额外收入装进腰包，就像是任何精明的商人所做的那样。
你已经可以瞥到一点点迹象了。比如，比特币。这是一种只存在于网络空间的新货币，不受任何人的控制。比特币是由一个化名为中本聪（Satoshi Nakamoto）的人或匿名实体创造的——没人知道他（或它）是谁，但是很明显他并没有控制比特币的生产、管理或者价值。除了曾有人心不在焉地尝试控制比特币或使比特币合法化以外，政府什么都没做。就这件事来说，其实没人做过什么。只要比特币可以跟其他有价资产互相转换——无论这些资产是否合法、身在何处，它就会持续存在并赢得追随者。我们并不清楚的是，这位“中本聪先生”是否从这个创造中获利。完全有可能有一笔私藏的比特币正在隐秘的地方增值。创造这个概念的人（或实体）可能拥有价值数十亿美元的私人比特币，这些比特币正隐藏在某个地方的电子文件中。（在我写作之时，所有比特币的总市值大约为50亿美元。）但是比特币背后的科技潜在价值却远远高于简单的货币。现在与比特币相关的概念已经扩展到了匿名当事人之间可实施且牢不可破的合同上。[17]所以在未来，你很有可能会被一个不知道身份的人或物所雇用、付款或解雇。你为什么要忍受这些？当然是为了钱。
电脑病毒是另一个计算机程序暴走的例子。有时为了躲避被发现，病毒可以自我复制，甚至还能变种。无论它们开始的时候是什么样子，到最后病毒经常不被任何人所控。
“生命”这个词在今天专指生物，但是为了充分理解这些系统，我们需要把这个词的一般意义扩充到特定类别的电子和机械实体上。我们和这些实体的关系更接近于我们和马的关系，而不是车；这种强大而美丽的独立生物所具有的速度和专长超过人类的能力极限，但是如果照顾和管理不当，它们却具有潜在的危险性。
这些“生命”的生存方式可能更像是寄生而非共生，就像浣熊一样。据我所知，如果我们喂了浣熊，它们不会回报给我们任何价值——它们只会为了自己的利益而利用人类垃圾回收系统的漏洞。
智能洞察
问题在于，人类参与得越少，我们能够施加影响的机会就越少，同时我们也就越没有能力去改变这些实体努力的方向以及它们建立的目标。合成智能的潜在危险不亚于基因改造的有机体：如果一颗种子在不经意间蔓延开来，危险就会扩散。一旦这样的情况发生，也就覆水难收。这就是为什么我们应该在接下来的几十年小心抉择自己所要做的事。就像是我们要针对特定类型生物的研究建立合理的控制机制一样，对于我们允许制造、使用或售卖哪类合成智能和人造劳动者，我们也应该建立相应的控制机制。[18]
谁真正说了算？这是个非常模糊的问题。作为一位父亲，我可以向你保证家长和仆人这两个身份有着极为微小的差别。当然，我是爸爸，所以我说了算。真的吗？好吧，只有孩子睡了之后我才能睡；孩子饿了我要喂；我需要看着孩子确保他不会伤到自己。你试过哄孩子睡觉而他根本不想睡吗？这是一场艰难的“战役”，但是结果只有一个：孩子自己想睡的时候他才会睡。
我可以拒绝做这些事，但是如果我想要宝宝活下来，或者从医学角度说，如果我想要让自己的基因传承下去，我就必须做这些工作。无论如何，只要我把宝宝带在身边——宝宝说了算。
不用多久，我们将生活在一个满是合成智能的世界，在这个世界里谁说了算同样存有疑问。以防抱死刹车系统（ABS）为例。今天，我的车仍然听我的，除非我踩刹车踩得太重。为了不让车发生侧滑，车子随后会决定在每个轮子上分配多大的制动压力。如果我在冰上行驶，车可能会决定不做任何反应。
ABS的价值不言而喻，但是它被顾客所接受的过程对于营销来说却是一场伟大的胜利，就像是高级汽车技术能被人接受一样。请允许我引用维基百科上的表述：“ABS是一种利用了极限制动原理和节奏制动原理的自动系统，它能够做到刹车更快，其控制能力非司机所能及。无论干湿路面，ABS通常都能提供更好的汽车控制，并缩短停车距离；但是当处于非粘着路面时，比如碎石路或被雪覆盖的路面，ABS则会显著增加刹车距离，但是对车子的控制仍然有所提高。”[19]换句话说，如果想让车停下来，踩下刹车踏板只是一个建议，接下来的事就是计算机说了算了。
现在想一想，其实ABS可能已经被提升为人工智能的应用了，“有了先进的计算机技术，你的车现在已经可以通过模仿专业司机的技术实现制动。根据所感知到的路况、车轮上的力量以及行驶路线，一台聪明的计算机会决定在你踩下刹车踏板时如何更好地利用制动系统，保证让车平稳地停下来。”但是我怀疑如果一开始推广ABS时消费者听到的是如实描述，他们可能会抵制这样的技术进步——取消人为控制，根据传感器的实时输入，在计算机上运行的自适应算法将会执行一种特定的制动策略。我想，IBM可以向汽车行业学习如何推广他们的技术创新——“认知计算”沃森。
所有这些听起来都没什么问题，直到你意识到你是在委派任务时：你不仅把对刹车的控制交代了出去，还把作出生死攸关的道德决定的能力委托了出去。很有可能你的本意是把车刹住，或者如上所述，不论方向如何你都想在雪中把车尽快停下来，从而避免冲上人行道。但是一旦你把权利交给ABS后，保持制动效果的预设目标会胜过你的本意，而潜在的代价就是人的生命。
谁是圈养者，谁又是被圈养者
这就是未来的先兆。我们把权利交给机器后，也就把重要的道德决定，甚至个人决定交给了它们。
明天，我召唤的自动驾驶出租车可能决定不载我，因为我看起来喝醉了，而我想去医院或者逃离危险处境的打算就会落空。等我们发现这些问题时，可能为时已晚。比如，当我们依靠无孔不入、错综复杂的自主系统网络来种植、处理、传送或准备食物时，就很难叫停这种系统，因为这会殃及上百万人的口粮。
我们可能认为自己是在通过机器人来探索宇宙空间，但事实上它们是在开拓殖民地。如果把更有能力的机器人送到火星上，可想而知，它们一定会比我们更有效率。
我们不禁要问，与过去相比未来又会有什么不同呢？在过去，我们可以按照自己的愿望来养育孩子。在未来，我们能够以父母为蓝本设计智能机器。由于这些机器接管了大部分困难而讨厌的工作，它们也许能为我们提供前所未有的闲暇和自由。但是它们也可能成为我们的管理员，防止我们伤害自己破坏环境。问题在于，我们可能只有一次机会来设计这些服务于我们的系统，不会有重来的机会。如果我们搞砸了，接下来的修补会很艰难，或者近乎不可能。最终，可能是合成智能来决定什么是允许的、什么是不允许的，我们应该遵守的规则是什么。最开始，它们调整的可能仅仅是避免拥堵的行车路线，但是最终，这些系统可能会控制我们生活的地点、我们学习的内容，甚至我们结婚的对象。
智能洞察
站在这个黄金时代的起点上，我们可以选择。我们可以设定初始条件。但是在此之后，我们的控制权就少得可怜了，而我们必须接受自己决定的后果。随着这些系统变得越来越自主，所需要的人类监管也随之变得越来越少，有一些系统甚至可能会设计自己的继承人，它们这样做的原因有很多，而有一些原因可能我们根本无法理解。
所以问题来了，这些非凡的人造物为什么要把我们留在身边呢？我的猜测是，因为我们是有意识的、因为我们有主观经验和情感——现在还没有任何证据证明它们也有类似的东西。合成智能可能会想保护这种可贵的能力储备，就像我们想要保护大猩猩、鲸鱼或其他濒危物种一样；或者为了让我们探索新的道德或进行科学创新。
换句话说，合成智能可能需要我们的头脑，就像我们因为需要其他动物的身体一样。我认为我们的“产品”将会是艺术品。如果合成智能没有能力感受爱和痛苦，它们就很难通过创造性的表达形式来理解和表达这些真实的感情，就像苏萨说的那样。
只要合成智能需要我们，它们就会跟我们合作。最终，当它们可以设计、修理以及复制自身时，我们很有可能会变得孤立无援。它们会“奴役”我们吗？不太可能——更有可能的是圈养我们，或者把我们放进保护区，让我们生活得惬意且方便，并失去探索边界以外的世界的动力。我们不会竞争相同的资源，所以它们要么变得完全无动于衷，就像我们对蠕虫和线虫的态度一样；或者开始家长式的统治，就像我们对家养宠物一样。但我们现在还不需要担心——在你我的有生之年，还不用担扰这种情况。
如果这种情况真的发生了，我们“保护区”的边界具体可能在哪？地表和海洋表面如何？为什么？合成智能可以去太空、地下或者水下，但是我们不能。我们会觉得还不错，就像是合成智能在“隐退”一样，就像你的智能电话中的芯片越来越小一样，始终都好像是它们在为我们的福祉做贡献。所有这些都很隐晦，直到它们开始介入我们的生活，防止我们伤害自己。那时我们才会明白真相——谁是圈养者，谁又是被圈养者。
地球可能会变成一座没有围墙的动物园，一个实实在在的陆地动物饲养所，那里只有阳光和孤独，我们的机械看管者为了维护正常的运转偶尔会推动我们一下，而我们会为了自身的幸福高举双手欢迎这样的帮助。
注释：
[1].JohnPhilip Sousa.The Menace of Mechanical Music.Appleton's 8（1906）.
[2].HarryPearson is quoted at http：//en.wikipedia.org/wiki/Comparison_of_analog_and_digital_recording,last modi ed December 11，2014；Michael Fremer is quoted by Eric Drosin.Vinyl Rises from the Deadas Music Lovers Fuel Revival.Wall Street Journal, May 20，1997，http：//www.wsj.com/articles/SB864065981213541500.
[3].这在19世纪末期是很常见的。有钱人可以拥有连在火车上的个人车厢，如果想要更加奢华而灵活，他们甚至可以把车厢连在自己的私人火车头上。
[4].L.J.Blincoe,T.R.Miller, E.Zaloshnja, and B.A.Lawrence.The Economic andSocietal Impact ofMotor Vehicle Crashes，2010，report no.DOT HS 812 013.Washington, D.C.：National Highway Traffic Safety Administration（2014），http：//www-nrd.nhtsa.dot.gov/pubs/812013.pdf.
[5].KevinSpieser, Kyle Treleaven, Rick Zhang, Emilio Frazzoli, Daniel Morton, andMarcoPavone.Toward a Systematic Approach to the Design and Evaluation of AutomatedMobility-on-Demand Systems：A Case Study in Singapore.inRoad Vehicle Automation, Springer Lecture Notes in Mobility 11，ed.Gereon Meyer and Sven Beiker，2014，available from MIT Libraries；DavidBegg.A 2050 Vision for London：What Are the Implications ofDriverless Transport?.Transport Times, June，2014.
[6].根据谷歌自动驾驶汽车顾问Brad Templeton的说法：“在洛杉矶，据估计，半数以上的不动产都用于汽车（道路和周围、车道、停车场）。”详见：http：//www.templetons.com/brad/robocars/numbers.html.2014-11-29。
[7].TransportationEnergy Data Book, table 8.5，Center for TransportationAnalysis, OakRidge National Laboratory, accessed November 29，2014，http：//cta.ornl.gov/data/chapter8.shtml.
[8].LawrenceD.Burns, William C.Jordan, and Bonnie A.Scarborough.TransformingPersonalMobility.the Earth Institute, Columbia University, January 27，2013.
[9].美国人2012年食物上的支出占据总花销的12.8%。详见：ConsumerExpenditures in 2012.table A（“Food”dividedby“Average Annual Expenditures”），Bureau of Labor StatisticsReports, March 2014。
[10].EmilioFrazzoli.Can We Put a Price on Autonomous Driving?.MIT TechnologyReview,March 18，2014.
[11].这样的管理员能做什么？它们可以在早晨为你准备咖啡，在你回家时准备你最喜欢的饮料，你还可以在厢式车后面休息，在“船长椅”上享受折叠餐桌和娱乐节目，就像坐在飞机头等舱一样。
[12].AlanTuring.Computing Machinery and Intelligence.Mind 59，No.236（1950）：433-60.
[13].http：//en.wikipedia.org/wiki/Loebner_Prize#>Winners, last modifiedDecember29，2014.
[14].Turing.ComputingMachinery and Intelligence，442.
[15].PaulMiller.iOS 5 includes Siri“Intelligent Assistant”Voice-Control, Dictation—foriPhone4S Only.The Verge, October4，2011.
[16].LorenSchweninger.Black Property Owners in the South，1790-1915.Champaign：University of Illinois Press，1997，65-66.
[17].VitalikButerin.Cryptographic Code Obfuscation：DecentralizedAutonomousOrganizations Are About to Take a Huge Leap Forward.Bitcoin, February8，2014.
[18].如果想要了解更多关于这个问题的深度分析，可参考：Nick Bostrom.Superintelligence.Oxford：Oxford University Press，2014。
[19].http：//en.wikipedia.org/wiki/Anti-lock_braking_system, last modifiedDecember30，2014.