难道合成智能就不能友善点，像正派的文明人一样吗？
为
了窥视一眼未来，我们可以想想在2010年5月6日那个慵懒的下午所发生的事。那时，由高频交易程序发起的证券交易已经激增到了60%！[1]实际上，机器而非人类，已经成了市场的主体。你在E*Trade上买的100股谷歌股票只是这场永不停歇的暴风雪中的一片雪花，它的作用仅仅是出于礼貌地延续你的错觉，让你以为自己真的可以分享美国梦。
就在下午2点42分的时候，道琼斯工业平均指数在几分钟内相比于当日开盘价下跌了1 000多点，也就是9%。超过1万亿美元的资产价值在2点47分的时候消失了。这是一大笔钱——其中可能包括你和我的存款、退休金以及对学校的捐款。交易大厅中，来自世界各地的愕然的交易者都不敢相信自己的眼睛。这就像是上帝亲自把锤子砸向市场一样。这肯定是某种可怕的错误吧？
当然不是。这是合法的高频交易程序造成的结果，它们所做的仅仅是完成任务而已。
美国证券交易委员会（SEC）为了搞清楚到底发生了什么，花了将近6个月的时间整理电子残骸。但结论却有些自相矛盾，而且结论本身就很有趣。问题起初源于一家大型共同基金公司（据传闻是堪萨斯州奥弗兰的Waddell&Reed金融公司）的投资经理，他用一种高度多样化（被称为S&P500 E-Mini）的形式下单卖出了一笔数量可观的股票。[2]具有讽刺意味的是，Waddell&Reed公司可以说是反快钱投资方面的艺术家。它著名的“基本面分析”投资方式与快钱投资恰恰相反，它用缓慢而系统化的方式买卖股票，并以股票代表的公司的业绩表现作为分析基础。
这位倒霉的投资经理并没有打算做什么非常规的事儿。他只是下了一个虽然很大，但是也很正常的订单——以实际情况许可的速度卖出了7.5万份合约，为了保证交易的顺利执行，该速度没有超过上一分钟交易额9%的上限。然后他就去忙别的事了。
问题在于那一刻，市场中没有足够的买家去购买这个证券，于是在无人看管的情况下，价格陡然下跌了。势头一旦形成，其他程序自动执行“止损”命令，愿意以任何价格卖出，这个比例的分母不断变大。
这仅仅是故事的开始。安装在全世界的高频交易程序中认真负责的安全警报拉响了。有些用来检测不正常市场波动的程序为了保护出资人的钱，开始尽职地以疯狂的速度平仓。这是一场在瞬间发生的、火力全开的电子银行挤兑。那些更加激进的程序感觉到了少见的机遇，闻到水中掺有的血的味道，把正在疯狂买进卖出的电子同伴当作逃跑的猎物，依照它们的专有算法进行着疯狂的交易，而算法所预测的这些丰厚的价差马上就会消失。因为这种空前的交易量，报告系统落后了，错误信息加剧了连环相撞。苹果的股价莫名其妙地升到了10万美元一股，而埃森哲咨询公司的股价则坠落到了特价甩卖区——每股1美分。与此同时，在真实世界中的太阳依然照耀着大地，两家公司平静地处理着各自的业务。
在这个像好莱坞悬臂吊钩情节一样戏剧化的时刻，一个低调的组织通过一个简单的行动拯救了这一天。芝加哥商品交易所（Chicago Mercantile Exchange）对于纽约主流做市商[11]来说只是不入流的小角色，但是他们却在短短5秒钟内停止了所有交易。没错，也就比你读完这句话的时间长一点。虽然对你我来说这只是一瞬间，但是对于正在凶猛咆哮的暴走程序来说，却是永恒。这段时间足够市场喘一口气，同时也让高频交易程序重新进行设定。这场破坏一结束，正常市场力量回归，价格很快恢复到接近于几分钟前的价格。这场危及生命的龙卷风就像它来时那样，莫名其妙地消失了。
故事看起来有一个好的结局，但是事实并非如此。
我们相信相关机构能够保护好自己的血汗钱，这种信任就是金融系统的根基。没有任何专家或美国证券交易委员会的新闻稿能让我们重拾信任。这样的事情还会发生，在我们作出每个消费和储蓄决定的时候，都会记得这样的威胁。投资者们不能再高枕无忧，因为他们无法确切地知道，自己的储备金在第二天会不会依然完整并且继续增值。令人难过的是，这些钱的命运掌握在机器手中。
为什么有些网站总知道你想要什么
这样的电子战争并不局限于财政部门，它们已经开始涉足各式各样的领域，逐渐在商业全景图中成为标准部分。但是，你不用担心它们是否会波及到你家。因为它们已经做到了，只是以一种更加温和的方式。
在硅谷一个异常寒冷的冬日下午，我拜访了一位朋友，他在一家蒸蒸日上的名为RocketFuel的公司工作。该公司从次级发行获得了3亿美元的注入资金，其首席技术官马克·托兰斯（Mark Torrance）抽空见了我，并和我探讨了他们公司的业务。他的顾客对于他如何完成工作这件事完全没有概念，但是他们肯定喜欢工作的成果。这家公司没有给火箭做燃料——他们为家喻户晓的品牌购买网站中的广告位，他们的顾客包括东芝、别克、罗德与泰勒百货（Lord&Taylor）。听起来很简单。但是当你知道他们是怎么做的，你就不会这么想了。Rocket Fuel把自己描述成一家“专注于数字营销的大数据和人工智能公司”。
你可能会想，当你加载网页的时候是谁决定你会看到什么广告。你可能假设这家网站的拥有者可能就是通过像Rocket Fuel这样的中间人，把网站的广告位卖给了广告商。但是事实远比这复杂。
当你加载含有广告的页面时，弹指间，一场蔚为壮观的战斗就打响了，各式各样的合成智能开始互相撕杀。从你点击链接到网页真正出现在屏幕上的约一秒钟内，上百个事务进程在互联网中激烈地搜寻你最近的行为细节，估算你会被其中一家广告商影响的可能性，并参与了一场在瞬息之间完成的电子拍卖，拍品就是让某件商品给你留下印象的权利（事实上每个单独的广告展示都被称为一个“印象”）。在这场电子混战中，Rocket Fuel是持有最强火力的战士之一。
让我们先从基础开始。每当你访问一个网站，点击一个链接或者输入一个URL的时候，你加载的网页会提醒一个或多个你所访问网站之外的组织：你来了。这件事是怎么完成的并没有多重要，但是却能向我们展示互联网在历史上的学术根基，是如何因为商业目的而改作他用的。
你可能知道，一个网页其实不仅包含了其他网页的链接，同时也含有用于展示网页边界或“框架”内图片的文件。当网页加载缓慢时，你可能会注意到有一些单独的链接飞速闪过，通常都出现在浏览器窗口底部的状态栏。这些链接可能来自你正在访问的网站，但是它们也是从互联网的其他地方来的。每张图都有具体的大小，通常都以像素为单位。一个像素基本上就是图像中带有颜色和亮度的一个点。所以图像的像素越高，这张图也就越大、越精细。
在互联网发展的早期，有人机智地发现，网页上的图片可以只包含一个像素，而这个像素对你来说是不可见的。为什么要展示一个你看不见的像素呢？这就是目的。你虽然看不到，但是这个像素可能来自任何地方，具体来说就是来自一个想要记录你在何时何地访问过该网页的人。因为这个像素来自别人的服务器，所以他们自然而然地有了做记号的权利，这些记号通常都记录在你的硬盘上。它们都是非常小的文件并且有一个有趣的名字，叫作“Cookie”。你当然可以通过设置浏览器来避免以上情况发生。但是几乎没有人这么做，因为这会让很多网站的正常功能难以使用。同样，那个晦涩的网页浏览器功能“阻止第三方Cookie”对于大多数人来说没有任何意义。听起来就像是有人在拒绝一份可口的零食一样。
这些Cookie中究竟有什么？通常来说没什么，就是一个以大数运算（Big Number）形式出现的唯一识别符。重要的信息保存在这个组织用来储存Cookie的服务器上。他们是不会把这么宝贵的信息托付给你的，因为你可能会不小心把信息分享给他们的竞争者。你可以把这个识别符看成在你背上轻轻贴上的便利贴，只是这里的便利贴是电子形式的，所以当他们再见到你时就能认出你了。
HUMANS
NEED NOT
APPLY
人工智能的未来
你是谁，不再重要
当你在网上冲浪，比如刷网页、点击链接、读文章、买东西时，他们还会再次遇见你，因为这些组织已经把像素放得到处都是了。所以他们能对你的习惯建立起非常全面的概况——你喜欢什么、不喜欢什么，你住在哪，你在哪买什么东西，你是否旅行，你有什么病，你读什么书、看什么、吃什么。但是就算是这些非常全面的描绘，却也忽略了一个重要的细节：你到底是谁。他们在不知道一个人的姓名、面貌或者其他辨认细节的情况下，就能建立起对一个人生动而详细的描写，只要你用的是同一台电脑。
现在你可能会想，为什么你访问的网站会让它的所有朋友把便利贴贴在你的背上。原因很简单：它会因此受益。有时网站会因此获得有价值的信息：这些组织会根据收集的数据作出很多关于访问者的人口特征和个人特征的统计。但是更多情况下，你访问的网站想要在未来当你离开之后仍然向你展示广告。而第三方储藏丰厚的跟踪数据恰恰能够帮助该网站实现这一愿望（当然，是以一定的价格）。
你可能会想，那些在网上追着你跑的组织到底是谁。有些是家喻户晓的公司，比如谷歌和雅虎；其他则是后起之秀，比如Rocket Fuel。据马克·托兰斯估计，他们已经在大约90%的美国个人电脑上安装了Cookie。要想明白这些Cookie的重要性，你需要理解交叉引用信息的力量。简单的事实本身并没有意义，但是结合起来就变得珍贵无比。根据这些信息，这些组织就可以把你分入到所谓的“亲密团体”，用来表明你对某种产品的偏好或购买某种产品的可能性。
举例来说，如果你在网上阅读素食食谱，你就比一般人更有可能尝试你家附近一家新开的瑜伽馆。有人在不经意间点开一个关于高尔夫假期的广告的可能性只有万分之一，但是如果你是男性的话，那么概率可能会提高到千分之一；如果你查找高尔夫大师赛的冠军的话，概率就会提高到百分之一。如果你观看了《暮光之城》（Twilight）三部曲电影全集，你就有可能购买该电影的原声，但是如果你同时也观看了《大都市》（Cosmopolis）和《漂亮朋友》（BelAmi）的话，你可能就会购买刊登罗伯特·帕丁森（Robert Pattinson，他是所有这些电影的男主角）专访的杂志了。
或者更重要的是，如果你最近因为某个商品而访问了一个网页，但是最终没有购买，比如某种型号的跑鞋，那么当你近期再次看到展示该产品的广告时，就更有可能会有所回应。问题在于一旦你离开了卖家的网站，这些跑鞋的制造商就没机会再和你沟通了。所以这个时候，在你电脑中存储Cookie的那些组织就有用武之地了。当你在别的地方出现，比如在预定晚餐的网站出现，他们就会认出你就是上周寻找鞋的那个人，然后他们就会给你展示广告，用你感兴趣的提醒你。这种形式叫作“重定向”（retargeting），是当今最有价值的网上广告形式之一。
像Rocket Fuel这样的公司已经建立了精密的数学模型，用来预测你回应任何一个他们展示的广告的可能性，这些广告来自他们不同的广告客户。他们知道，从统计学上来看，你在这些广告主那里值多少钱。所以他们知道当你加载网页时，广告主为了在你面前展示广告，舍得花多少钱。
这就是合成智能大显身手的机会。让这些分析与时俱进，是一个非常复杂的任务，其复杂程度远超人类能力的极限。要想做好这件事，合成智能必须持续收集和分析海量数据。但是对于可以利用强大计算力量并使用庞大数据存储的机器学习系统来说，这种任务手到擒来。它们永远都在信息的河流里面筛选，在有价值的关联中淘金，在你下次访问页面的时候摩拳擦掌，不管那个页面在哪出现。问题在于，所有其他在你电脑上留有Cookie的组织的合成智能都在做同样的事。
它们中的每一个都代表了不同的广告主，每一个都预测了在一天中的不同时间、不同的浏览器上、不同页面的不同位置上，为你展示广告的不同价值。
那么，如果有人只是想通过售卖广告位来经营他的网站，情况会怎么样？除了少数几家最大、最成功的网站之外，向独立广告主售卖广告位是一种完全不切实际的行为。甚至向代表了很多广告主的中间商（比如Rocket Fuel）售卖广告位也是一场噩梦。复杂的电子广告交易所已经出现了，它们的作用是基于实际价格进行拍卖，而拍品就是在你加载的页面上静悄悄地展示广告的权利。网站的运营者只是把自己可用的广告空间目录交付给广告交易所。随后，中间商也会参与进来，然后游戏就开始了。
当你加载网页时，网页会向广告交易所请求一个具体尺寸的广告。中间商直接开始对广告竞价，他们寻找在你的计算机上是否有他们的Cookie。如果有的话，他们就会进行复杂的评估，来估算他们愿意为这次机会支付多少钱，考虑的因素包括他们过去和你的每次会面、你去过哪儿、你之前做了什么。他们还会考虑你现在正在访问的网站、你正在浏览的页面内容，以及你和他们现有的广告主进行交易的可能性。
这时候，事情开始变得复杂。中间商可能也会从其他公司那里购买了你的信息，而这些公司并不在广告投放业务中，但却同意有偿和这些公司分享你的Cookie。即使网速像光一样快，也不可能完成多轮拍卖，所以每个竞价者会从名册中选择一个特定的广告，然后给出一个最好的报价。
竞价者还会告诉广告交易所它打算展示哪个广告主的信息，因为被放置广告的网站不想要特定的信息出现在页面上。比如，一个以孩子为服务对象的网站可能会拒绝针对成人的某些产品，比如赌场的广告，即使正在浏览网页的人是很有希望的买家也不行。或者一个糖尿病信息网可能不想展示关于甜点的广告。但是几乎所有网站都会拒绝展示竞争者的广告。最终，广告交易所会把机会给予出价最高者，但是仅收取出价第二高的费用（这是为了鼓励参与者给出最好、最高的价格）。
在花费了比人类第一次登月还要多的计算量之后，一个广告天衣无缝地出现在了你正在加载的页面上……为你的猫补充特殊维他命，从而抵抗猫白血病。好神奇！他们是怎么知道你刚养了一只猫的？
大打出手的计算机程序
在一次谈话中，Rocket Fuel的CEO乔治·约翰（George John）向我指出了一件颇具讽刺意味的事：说服的艺术（你可能有理由认为这是一种人类独有的活动）如果由合成智能来完成，效果会更好。无数顾客在Rocket Fuel网站上评论，把广告预算花在RocketFuel上比他们亲自做要好太多。你可能已经注意到了我还没有谈到一个重要的问题：竞价者是如何知道对于广告主来说，展示特定广告的价值是多少的？答案在于，广告主有一个同样复杂而且完全平行的系统，当你针对他们向你展示的广告采取行动时，这个系统会反馈给中间商。这个动作可能是立即点击广告，或者在未来独立访问该广告主的网站。这种延迟行为被称为“浏览归因”（viewthroughattribution）。
CTO马克·托兰斯向我展示了他的计算机在预测和影响客户行为上的非凡精准度。他向我展示了在你看了他们的广告之后，他是如何估算你在两周之内从他们的客户（一家主流国际快餐比萨连锁店）那里购买比萨的可能性的。在一张经过精心着色、被称为“网站点击热图”（heatmap）的图中，他选择关闭了一个绿色的单元格，我可以看到一组精心选择的消费者，9.125%～11.345%的人会在两周之内购买他们客户的比萨，甚至他们的客户自己都不知道这些人到底吃不吃比萨。随后由客户返回报告给他收到的实际数字是10.9%。
在这个费力的过程中，各种各样的参与者并不都是朋友，形形色色的恶作剧和博弈随之而来。比如，在任何拍卖中获胜的出价者都知道第二名的出价，由此就能推断出很多关于竞争者的信息，比如追逐同一块空间的人是谁，以及其他组织愿意支付的价格。所以竞价组织们需要制定复杂的策略才能打败其他参与者，就像是专业的扑克牌玩家通过故意失手来估算别人的大小一样。
广告交易所的合成智能会管理所有出价，它也不是吃素的。它们学习每个出价者的策略并以此牟利，可能通过挑拣最好的交易机会，也可能通过让类似出价者互相竞争从而抬高价格。
既然在这个过程中投入了如此多的精力，你可能会想这些广告应该非常宝贵吧，但是事实正好相反。虽然这些合成智能在每场战斗中付出了艰辛的努力，但是通过广告交易所投放一条广告的价格却可能只有0.000 05美元。在广告术语中，这叫作千人成本（CPM）5美分。单价虽然低，但这种交易的总量却是巨大的。
3个朋友在2008年创立了Rocket Fuel，就在我写作本书时，该公司市值已经达到约20亿美元。可能你已经猜到了，CTO马克·托兰斯和CEO乔治·约翰都是在斯坦福大学学习的人工智能。
什么才是造成这场电子混战的根本原因？大打出手的计算机程序是为了在我们的金融系统中赌博，还是为了影响我们的消费者行为？难道合成智能就不能友善点，像正派的文明人一样吗？
答案出奇地简单。这些系统是为了完成单一目的而设计的，它们不知道或者不关心其他副作用。就像我会在下文中讲到的那样，这个电子竞技场中的交战对手没有任何理由对彼此施以怜悯，它们也不会为了想得到的东西支出任何高于绝对最低值的价格。与此相仿的是，它们会收取尽量高的价格，从而榨取可能的最大利润。
HUMANS
NEED NOT
APPLY
人工智能的未来
杀掉任何阻止它的人
虽然合成智能正在侵占越来越多原来只能由人类主导的领域，但是从整个社会的角度出发，它们的行为却变得越来越让人难以忍受：抢占其他人正在耐心等待的车位；在大风暴之前购买家得宝[12]货架上的所有电池；在等待红绿灯时阻塞轮椅坡道。
但是当这些系统变得更有能力且更自主之后，危险还会倍增。比如，想象未来一个人买了一台最新型的通用机器人私人助手，他让机器人把所有能力都用在努力成为一位世界上最成功的专业棋手上。这个人可能认为这个机器人会学习象棋大师，和其他棋手对战，然后跻身于各式各样的比赛。但是在不加指导的情况下，这个机器人可能会规划出更加可靠的策略，比如为了在比赛中甩开对手而威胁有可能成功的竞争者的家人，在更厉害的选手去往比赛的路上破坏他们乘坐的飞机，或者杀掉任何可能阻止它完成任务的人。[3]
我们对这些合成智能造成的潜在危险就无计可施了吗？答案更加微妙。我们需要控制合成智能（或这种情况下的任何电子智能体）为我们工作的时间和地点。在活动涉及人类智能体的情况下，这种需求尤为紧要。
我们经常依赖一条隐性的假设：我们在公平竞争的环境中合理分配资源。当Ticketmaster刚上线的时候，它极大地提高了购买音乐会门票的方便程度。（我还记得以前开车到最近的淘儿唱片[13]买票的情景，这就是Ticketmaster用高科技的终端机介入的领域。而在Ticketmaster出现之前，当你想要听音乐会就要排长队然后还得碰运气。）但是在互联网上的Ticketmaster出现之后，线上音乐会门票一出现，黄牛就开始用程序来窃取这些门票。由于没有管理制度来解决这个问题，Ticketmaster开始尝试修复这一问题，比如要求你来解读这些被称为“验证码”的恼人脑筋急转弯，但是效果甚微，因为黄牛雇用了活生生的人类军队来破译这些代码。[4]
这里的问题并不在于你是否用智能体来买票。你帮朋友买票或者雇人帮你买票本无可厚非，但是当得到许可的电子智能体和人类智能体竞争资源时，问题就产生了。在大多数情况下，这违背了我们对于公平的直观感受。这就是为什么人类棋手和计算机棋手的比赛是分开进行的；这也是为什么让程序和人类一起参与证券交易活动是有问题的。而要想让这个魔鬼重新回到瓶子里很困难。
让魔鬼重回瓶子
排队是一种很不错的文化均衡器，因为这种方式让每个人花费自身的个人时间来承担等待的成本。这就是为什么当说客花钱雇人在国会听证会前排队的时候我们会感觉不舒服，因为这样做实际上压榨了普通市民出席听证会的机会。有人认为相比于穷人，排队对于有钱人来说花费更多，但是不要忘记一点：我们不想让某些资源变成经济上可替代的商品。这就是为什么在大多数文明的国家，购买/售卖选票或买卖肾脏是非法活动。
同样的原则如果被合理地广义化，可以应用在任何电子智能体和人类竞争的环境中——并不只限于排队。为了使用资源，参与者的能力或者支付的成本是否不同？这个问题需要就事论事地回答，但概念是清晰的。比如我为了避免罚单，让我的机器人每两个小时去挪一次车，或者让我的自动驾驶汽车自行去重新停车。如果考虑到那些没有机器人司机或者自动驾驶汽车的人，我这么做的成本和我亲自去停车的成本是相同的吗？如果我让机器人去做的成本和你让自己的人类行政助理去做的成本是一样的呢？
我认为，让合成智能为在你面前展示广告而大打出手，比让高频交易程序参与证券市场要公平得多。因为在广告的例子中，人类一般不参与竞争（虽然在互联网早期人类也参与），所以每位出价者的地位都更平等。
我们很容易就能看到老板的机器人有没有在帮他挪车。但是在其他情况下就没有这么容易分辨了，比如黄石公园露营地点对公众开放的那个周末，你想去露营，而一整排露营地都被某个人写的聪明程序预定了。我们需要把这些概念纳入公共讨论中，然后才能在电子领域延续我们的公平感。现在，这片广阔自由的领域正被无边的黑暗所笼罩，招引着形形色色的欺骗。
在合成智能一步步成为智能体的路上，还有更多微妙的问题急需解决。
注释：
[1].Automated Trading：What Percent of Trades Are Automated?.Too Big Has Failed：Let's Reform Wall Street for Good, April3，2013.
[2].Marcy Gordon, DanielWagner.“Flash Crash”Report：Waddell＆Reed's$4.1 Billion Trade Blamed for Market Plunge.HufngtonPost, December 1，2010.
[3].Steve Omohundro.AutonomousTechnology and the Greater Human Good.Journal of Experimental andTheoretical Arti cial Intelligence 26，no.3（2014）：303-15.
[4].CAPTCHA（验证码）代表“分辨计算机和人类的全自动通用图灵测试”（Completely Automated Public Turing Test to tell Computers and HumsApart）。马克·吐温曾说过：“我希望……我们所有人……最终都会在天堂相聚……除了电话的发明者。”如果他今天还活着，他肯定会把CAPTCHA的发明者列入此列。Brian Krebs的文章描述了使用低技巧和低成本的劳动力来解决此类问题，详见：Virtual Sweatshops Defeat Bot-or-Not Tests.Krebs on Security,http：//krebsonsecurity.com/2012/01/virtual-sweatshops-defeat-bot-or-not-tests/，2012-01-09。