你没有做，是你的机器人做的。

中

世纪时，动物会接受刑事审判。记录在案的包括对鸡、老鼠、田鼠、蜜蜂、小飞虫、猪的起诉。^[1]那个时代和今天大不相同，人们认为动物能知道是非对错，也能依照原则行事，他们相信动物拥有所谓的道德能力（moral agency）。

关于道德行为体，一个被广为接受的定义是，道德行为体必须有能力完成两件事。他（它）们必须能感知到他（它）们行为后果中与道德相关的部分，而且必须有能力在行动方案之间作出选择。

有趣的是，这两个条件都与任何主观和先天的是非判断无关。而仅仅要求道德行为体必须能依照公认的道德标准来控制自己的行为，并且评估行为的影响。对于道德行为体来说，无论这个标准是不是发自自身的，无论他（它）们是否能理解标准后面隐含的道理，无论他（它）们是否同意，是否能“感觉”到正义和罪恶之间的差别，都无关紧要。

在这里，让我们拿精神变态者做个比较。他们完全或几乎没有移情能力或者无法对自己的行为感到后悔，但是很多甚至可能是大多数都很聪明，可以理解道德概念，也能据此控制自己的行为——只是他们不会对道德问题产生情绪反应。心理学家估计，超过1%的美国人口都是精神变态者。^[2]但是我们却并没看到每一百个人当中就有一个人随意犯罪。精神变态者可能会自己偷偷地想，有什么大不了的，但是他们知道自己应该如何表现，而且他们中的大多数人都能成功地接受现状，并且和正常人和睦相处。

在今天，我们可能会认为中世纪时动物也能犯罪的观点很可笑，但是对于道德能力的现代解读却早已不仅仅局限于人类了。

苏菲的选择

2010年，墨西哥湾的石油钻井平台“深水地平线”经受了一次水下井喷。11个工人死亡，大量石油污染了水域和沙滩。美国联邦政府刑事指控（而非民事指控）了这个石油钻塔的拥有者——英国石油公司（BP）。最终，BP以40亿美元平息了这场诉讼，这样的赔偿远远多于大型民事处罚。

对BP的刑事起诉表明，具有道德能力的主体并不一定要具有意识或感觉。在我们的法制系统中，一家公司需要承担道德责任，而且负有刑事责任。也就是说，BP应该更加明事理，并且有能力作出正确的事情从而避免事故发生，但是在这起事件中，BP没有做到。公司和员工不同，它有责任对事件进行足够的控制，从而避免这类情况的发生。

现代法律理论接受了这个概念，人和公司都可以是道德行为体，所以可以被指控犯罪。那么合成智能呢？它也能满足承担道德责任的要求吗？

是的。

如果合成智能有足够的能力可以感知到周围环境中与道德相关的事物或情况，并且能够选择行为的话，它就符合作为一个道德行为体的条件。这些系统不用复杂到非得跨越这条似乎具有人类学意味的界限。比如一台割草机需要有能力看到它正要压过的是一个孩子的腿，而不是一根棍子，而且它也能选择是要停下来还是要继续。当然，问题在于它该如何“知道”在哪种情况下应该停止、在哪种情况下应该继续。如果没有某种方式的指导的话，我们不能指望它能通过推理作出正确的决定。

智能洞察

这个问题并非遥不可及。一场关于如何为自动驾驶汽车编程的智力辩论已经静悄悄地展开了。无论我们多么想努力回避这种情况，自动驾驶汽车都会轻而易举地产生具有道德挑战的应用情境，而这种产品几乎不可避免地将会出现在我们的视野中。你的自动驾驶汽车可以为了救你而碾压一只狗：很明显，在这种情况下你希望它这么做。但是如果它要抉择的是碾过一对老年夫妇或者撞倒一群正在过马路的孩子呢？如果要杀死你的孩子中的一个，是前座的那个还是后座的那个，你的“苏菲的选择”^[14]是什么？我们可以忽略这样痛苦的问题，但是忽略这种问题本身就是不道德的。

好吧，现在我们咬紧牙关用道德准则来编程。听起来像是一个工程学问题，但是却没有这么简单。虽然我们为这个议题投入了很大的精力，但是专家之间却没有达成共识：这样的道德准则应该是什么样的。在几个世纪中，哲学家们为了决定什么才是最好的或者是可行的，已经建立了关于道德理论和伦理论证的重重阵地，然而这场争论直到今天仍然没有定论。

即使我们能在这个难题上达成某些共识，也没有理由能够确信这样的共识可以被轻松地简化为实践，并且用编程的方式来实现。在计算伦理学这个新领域中的一些研究者，正在努力用一种“自顶向下”的方式创造“人造道德行为体”。他们通过推理来选择和实现道德原则，然后建立试图遵守这些原则的系统（基于责任的规范伦理学）。而其他人则在追求一种“自底向上”的策略，通过向机器学习算法展示足够多的相关例子来获得答案。但是这种方法有一个明显的缺陷。和人类类似，机器也很难保证能够获得和实现符合要求的道德原则，更别说清晰地表达这些原则了。其他方法包括“基于案例推理”，它本质上就是通过把道德问题和一个由已知案例组成的目录（在相似的前提下）相关联来解决问题。困扰这个新生领域的一个问题是，我们的一部分道德观念似乎是来自我们作为人类能够感受同情和怜悯的能力——我们本能地推论，如果有东西伤害了我们，那我们就不应该把这种痛苦施加给别人。这条通往道德行为的捷径大概对于机器来说是行不通了。简而言之，我们还不知道如何指导工程师进行道德编程实践。^[3]

逮捕那个机器人

除了机器道德能力的议题，我们还有一个问题：当决策出现问题时，谁才是应该负责的人？要回答这个问题，我们需要理解“当事人”和“代理人”之间关系的法律理论。要弄明白这点，我们需要再回到BP的案子上。

相对于公司员工犯罪，你可能会想，一家公司怎么会犯罪呢？11个人死在了“深水地平线”上，但是这并不意味着任何人玩忽职守或者参与了犯罪活动。正好相反，每个员工可能都完成了交付给他的职责，而没有任何一个人的使命是去杀死这11个人。

员工是公司犯罪的“手段”。以此类推，当你抢劫银行时，你的腿只是帮你走进银行的手段。你的腿当然不用承担刑事责任。但是，以上这两种手段有着很大的区别，你的腿把你送进银行，和“深水地平线”的管理者未能监测或纠正潜在的危险情况是不同的。管理者应该是公司的“代理人”，所以也潜在地肩负了一些责任。

代理人是一个被授权的独立体，在双方协定下，代表当事人的行为。你的腿既不是独立的组织，也没有在知情的情况下同意双方协定并且代表你来行动。而从另一方面说，BP的员工是一个独立的组织，他们在知情的情况下代表BP在行动。

当代表你的时候，你的代理人具有所谓的受托责任，来完成你的意愿并且保护你的利益——但是有一定的限制。比如，你的代理人在知情的情况下代表你犯了罪，他也难逃法网。假定你明白自己是这个违法阴谋中的一部分，如果我雇用你杀死我的情敌，那么你对这场谋杀也负有责任。

但是如果一个代理人犯罪了，但是自己却并不知情呢？我说“这里，按这个按钮”，你照做了，然后炸弹在超级碗^[15]引爆了。你是我的代理人，但是只有你在合理情况下应该知晓后果时，才负有责任。

现在让我们反过来看看。我们假设代理人在为当事人服务时犯罪，而并不知道。我让你去银行取100美元。你拿着枪去了银行，然后给出纳员一张字条，让他把钞票塞进纸袋中。你回来之后把钱给了我。那么，我该对你的偷窃行为负责吗？在大多数情况下答案是否定的。（我这里把问题简化了一些，因为假定无辜的组织如果从犯罪中受益的话，就算不知情也需要承担法律责任。）

对于在当事人-代理人关系中谁需要负责，或者更加确切地说，在不同组织相关责任不清晰时如何分摊责任，法律上的原则和判例有着悠久的历史。

在BP的案子中，政府的结论是，个体员工的行为本身并不构成犯罪，但是这些行为聚合之后就构成了犯罪。所以政府控告了作为当事人的BP，因为BP具有充分而清晰的责任。

可以说，现代法律理论接受了这个概念：人和公司都可以是当事人和代理人，而且可以作为独立的主体被指控犯罪。那么，智能机器呢？当合成智能代表你行动的时候，谁该负责？你可能会认为答案很明显应该是你，在今天可能确实如此。但是这并不公平，而且在未来也很有可能会因为某些合理的原因而改变。

请考虑以下情形。想象你买了一台家庭机器人，它能从你的公寓出发，从10楼坐电梯下楼，去马路对面的星巴克帮你买焦糖星冰乐。（这并不完全是科幻小说，这种机器人的原型最近刚刚在斯坦福大学进行了展示。）^[4]这台机器人不仅被预编好了一套一般行为准则，而且还会通过观察它接触到的人的行为来加强自己的导航和社交能力。毕竟，习俗和实践需要因地制宜。可能在纽约，你和你遇到的女性握手是适当的行为，但是在伊朗，你和非亲属的女性握手是不被允许的。你可能不知道，你的机器人最近看到了一个小概率事件，一个善良的人在警察赶到之前制服了一个偷钱包的贼，这个人赢得了围观群众的赞许和钦佩。

在去买咖啡的路上，你的机器人看到了一个男人和一个女人扭打在一起，这个男人在她明确反对的情况下拿走了她的钱包。机器人根据自己的通用编程和具体经验推测有人正在犯罪，它把男人摔倒在地，一边控制住他一边拨打911。

警察赶到之后，那个男人解释他和自己的妻子只是在互相闹着玩，争夺车钥匙，好决定由谁来开车。他的妻子证实了这个故事。他们把注意力转移到了你那好心但是倒霉的机器人身上。它尽职地解释说，它只是在你的命令下去买杯咖啡而已。这两个人愤怒地坚持要警察以伤害罪逮捕你。

你辩护律师的论点很简单：你没有做，是你的机器人做的。你因为相信这台机器人的设计而购买了它，并且依照说明书来使用它，所以卖给你机器人的公司应该为这起事件负责。

但是机器人公司也有律师，他们成功地辩护道，他们已经达到了所有合理的产品责任标准，并尽到了勤勉尽责的义务。他们指出，在上百万使用小时中，这是第一起此类事件。从他们的立场说，这只是一个令人遗憾但是却无法预料的特殊事件，与自动驾驶汽车开进了突然出现的污水坑并没有什么区别。

对这起事件的责任缺口感到困惑的法官寻找了以前的判例。他在南北战争前17世纪和18世纪的“奴隶法典”中找到了一个判例。^[5]在美国内战之前，各州和各司法管辖区保持了独立的（也是非常不平等的）法律体系，用来管理奴隶的待遇、法律地位以及责任。大部分情况下，这些法则把奴隶描述为具有有限权利的财产，他们在主人那里获得有限的保护。我们今天肯定认为南方种植园的奴隶是有意识的人类，他们和别人一样应该获得基本的人权，但是那时候并不是每个人都同意这样的评定。^[6]无论如何，这些法则不可避免地追究了奴隶而非主人的法律罪责，然后对之施以惩罚。

这起案件中的法官看到了奴隶（他是法律上的“财产”，但同时也有能力作出自己独立的决定）和机器人地位之间的相似性。所以他判定，在这起案件中合适的惩罚是清除机器人的记忆，从而清除它目睹抢钱包的经历，并且为了赔偿，机器人要交由受损方托管12个月的时间。^[7]

受害者认为这是一个可以接受的决议，并且也愿意在接下来的一年中拥有一个免费而且顺从的仆人。你因为要暂时失去你的机器人的使用权而闷闷不乐，而且惩罚期过了之后你还得重新训练它，但这当然还是比因为伤害罪而去蹲监狱强得多。

于是，一系列新的判例和法律体系诞生了。

强制“失忆”，最好的惩罚？

我们的法律没有要求道德行为体必须有人性或者意识，就像BP“深水地平线”案中表现出的那样。相关实体必须至少有能力认识到自己行为的道德后果，并且能够独立行动。回想一下，合成智能通常都配有机器学习程序，这些程序根据训练集的示例而发展出独特的内在表征。我使用这些术语，是为了避免使用拟人化语言带来的危险，因为我们还没有任何别的可以用来描述这些概念的通用词语。否则，我会简单地说，合成智能根据自己的个体经验来思考和行动，在这个例子中你的机器人就是如此，只是它想错了。它可能是你的法定代理人，但是既然你不知道它在干什么，那么作为它的委托人你也不用负责任，而它需要。

问题是，如果你认为合成智能可以犯罪，那你又该如何训导它呢？这起案件中的法官有效地惩罚了机器人的主人并给予受害者以补偿。但是，这对机器人就公平吗？

作为参考，我们可以考虑一下处置公司的方法。很明显，你不能用惩罚人类的方式来惩罚公司。你不能判处一家公司10年监禁或者剥夺它的政治权利。用19世纪末英国大法官爱德华·瑟洛（Edward Thurlow）的话说：“你怎么会指望一家公司有良心呢？它没有灵魂可以下地狱，也没有身体可以让你施以暴力。”

这里的关键在于人、公司以及合成智能都有一个共同点：一个目的或目标（至少在犯罪背景下如此）。一个人可以因为很多原因而犯罪，比如为了功利、为了不进监狱（自相矛盾），或者为了消灭情敌。而我们给予的惩罚也和目标相关：我们可能会剥夺犯罪者的生命（死刑）、自由（监狱）或者追求幸福的能力（比如限制令）。当公司犯罪的时候，我们却无法把它们关起来。

在这种情况下，我们会征收罚款。因为公司的主要目标是赚钱，罚款就成为一种对不良行为的有力震慑。我们也可以让合同无效，把公司驱逐出市场，或者让它的行为服从于外部监督，就像有时出现在反垄断诉讼中的案子那样。而在极端情况下，我们甚至可以剥夺公司的“生命”（也就是让它关门）。

智能洞察

不是所有犯罪者都要承受同样的后果。惩罚不仅要符合罪行，还要符合罪犯。惩罚一个合成智能需要干涉它达到目标的能力。这种做法可能不会像在人身上一样，造成情绪影响，但是对于我们法律系统如威慑和改造的目的来说却很管用。为完成使命而设计的合成智能，在遇到障碍时会为了达到目的而改变自己的行为。可能仅仅因为它自行看到了其他实例，就要为错误承担责任。

需要注意的是，和大多数大规模生产的产品不同，合成智能的示例并不等同，就像是同卵双胞胎并不是一个人一样。每一个合成智能都会从自己独特的经验中学习，并且得出具有自身特征的结论，就像前文伤害案件中的机器人那样。

我再举一个现代的例子，比如一个用机器学习算法实现的信用卡诈骗检测程序。它可能因为不小心把持卡人的种族考虑进来，或者独立发现了某些其他和种族相关的变量，就违反了反种族歧视法规。为了找到这种知识的源头而大动干戈是非常不切实际的行为，所以最终的惩罚可能就是删除整个数据库。

这可能听起来无伤大雅，但是事实并非如此。对于银行或者程序拥有者来说，这可能会造成极大的经济损失，因为这个程序多年以来根据上亿笔实时交易才调整好自己的性能。不难猜想，合成智能所有者为了避免这样的后果会据理力争。

让人造人拥有资产

强制性的失忆并不是干涉合成智能实现目标的唯一方法，我们还可以撤回其行动的权利。事实上，合成智能的使用许可与合成智能对自身行为的责任是相辅相成的。

比如，政府或保险公司可能会审批每一辆自动驾驶汽车，就像他们对待现在的汽车一样。对于那些管理医疗设备（属医疗器械范畴）的计算机程序来说也是如此。未来，我们可能会通过召回自动驾驶出租车的执照，或者删除自动交易程序上的账户凭证，从而撤回它们的权利。

合成智能可以被给予权利（比如以执照的形式），也会承担责任（比如避免损害他人财产），就像所有其他能够感觉、行动或作出选择的实体那样。处理此类问题的法律框架被称为“人格”（personhood）。

深夜喜剧^[16]演员喜欢用已确立的法律原则“公司就是人”来取乐，比如“联合公民诉联邦选举委员会一案”（Citizens United V.Federal Election Commission，2010）。在这起案件中，美国最高法院确认了《宪法第一修正案》保护公司言论自由的权利。当然，这并不意味着喜剧演员的表演与这起案件等同——法官愚蠢地把公司和人划了等号。这只能代表公司有一些特定的权利和责任，而这在法律上简称为人格。^[8]

HUMANS
NEED NOT
APPLY

人工智能的未来

赋人造人以权力

公司和合成智能在功能上如此相像，为了使之前的案例（如机器人伤人案）更加合乎情理，法庭很有可能会制定合成智能可以是人造人（artificial persons）的原则。而之后的权利和责任也会随着时间不断完善。

这些权利中最重要的就是签订合同和拥有资产的权利。有争议的是，我们已经允许在交易股票或在线上购物时让基于计算机的系统签订合同，只是它们的拥有者是有合同约束的法律实体。

希望人造人拥有资产的呼声会很强烈，因为这样的资产可以用于独立于人造人所有者的没收和罚款。在机器人伤人的案例中，法官有效地判决机器人从事一年劳役，就是因为它自身的劳动力是它仅有的资产。我们无法让机器人交罚款，而且法官大概认为这样的刑罚比由机器人所有者承担的处罚要好。但是如果机器人拥有银行账户，那么账户就很有可能会成为处罚的目标。

合成智能的拥有者也会赞同把合同权利和财产权利赋予人造人，因为这样做会潜移默化地免除他们个人资产的责任——在今天，这也是成立公司的最常见的动机。

和大多数的预测不同，这不是对未来诸多可能性充满幻想的推测之一。恰恰相反，这种情况很难被阻挡，因为把每个人工智能包装成自身的合法公司会收到很好的效果，而这种效果在今天就可见一斑，就像你的律师和医生可能都是“专业公司”或者有限责任公司一样。如果我是一队自动驾驶出租车的所有者和运营者，那我肯定会考虑把每辆车都合并为它自身法律实体的资产，原因只有一个：我不希望一个灾难性的错误搞垮我整个公司。除此之外，我会让我的流动小卒尽可能地赚大钱，然后把它们的利润存起来，就像是从蜂巢收集蜂蜜一样。

我们又被带回到智能机器作为代理的最根本的问题上。它们会不懈地追求我们为其设定的目标，并且在和人类的竞争中胜出，而且可能仅仅是在名义上受我们控制——这种情况至少会延续到我们建立起道德和法律框架之前，有了这些框架，我们才能把它们整合为人类社会中高效的伙伴。

智能洞察

合成智能必将丰富我们的生活、增大我们的成功概率、增加我们的闲暇时间，但是来自这种科技的好处会掩盖一个令人不安的事实：合成智能和人造劳动者会作为独立的道德行为体而出现在各个地方，它们会从事工作并且代表其所有者赚钱，但是总体上它们不会考虑自己的行为对他人和社会造成的后果。它们很有可能会像在高频交易程序案例中表现的那样，为了少数几个幸运的个人，从巨大的财富中搜刮可观的份额。

正如你所预料的，这样的剧本已经展开。超乎常人的全知系统观察我们的个人和群体行为，然后把我们引向我们所买的、所听的、所看的以及所读的——而利益正静悄悄地在别处积累。你不需要想太多就能找到自己被影响的例子——亚马逊云的1号款台，这里结账不用等待！

 注释：

[1].E.P.Evans.The Criminal Prosecution and Capital Punishment of Animals，1906；repr.，Clark, N.J.：Lawbook Exchange，2009.

[2].Craig S.Neumann, Robert D.Hare.Psychopathic Traits in a Large Community Sample：Links to Violence, Alcohol Use, and Intelligence.Journal of Consulting and＆nbsp；Clinical Psychology 76 no.5（2008）：893-99.

[3].更多精彩评论，详见：Wendell Wallach, Colin Allen.Moral Machines.Oxford：Oxford University Press，2009。

[4].PR2 Coffee Run, Salisbury Robotics Laboratory, Stanford University，2013.

[5].如果想要获得更多关于美国内战之前对待奴隶的矛盾性（既是财产，还要为自己的罪行负责）的精彩阐释，详见：William Goodell.The American Slave Code in Theory and Practice：Its Distinctive Features Shown by Its Statutes, Judicial Decisions, and Illustrative Facts.New York：Ameriacan and Foreign Anti-slavery Society of New York，1853。

[6].例子可参考：Josiah Clark Nott, M.D.Two Lectures on the Natural History of the＆nbsp；Caucasian and Negro Races.Mobile：Dade and Thompson，1844.

[7].这个概念在2012年的电影《机器人和弗兰克》（Robot and Frank）中表现得机智而微妙，在电影中，弗兰克·兰格拉（Frank Langella）饰演了一位老年时期患有高度痴呆的偷猫贼，他和一位机器人看护者成了好朋友。

[8].美国公司成为法律人格的历史开始于1819年美国最高法院的确定决议，判决达特茅斯学院享有美国《宪法》合同条款（第1章第10节第1款）的保护。公司享有的权利和责任从此开始。