引言
[100]1.ChengZhang and Jianpeng Ma, Enhanced Sampling and Applications in Protein Folding inExplicit Solvent, Journal ofChemical Physics 132,no.24(2010):244101;http://folding.stanford.edu/English/About about the Folding@homeproject,这个网站至今已使用来自世界各地超过500万台电脑模拟蛋白质的折叠。
[101]2.JamesD.Watson, Discovering the Brain(Washington, DC:National Academies Press,1992).
[102]3.SebastianSeung, Connectome:How the Brain's WiringMakes Us Who We Are(New York:Houghton Miffl in Harcourt,2012).
第1章
[103]1.CharlesDarwin, The Origin of Species(P.F.Collier&Son,1909),185/195-196.
[104]2.Darwin, On the Origin of Species,751(206.1.1-6),Peckham's Variorum edition,edited by Morse Peckham, TheOrigin of Species by Charles Darwin:A Variorum Text(Philadelphia:University of Pennsylvania Press,1959).
[105]3.R.Dahm,Discovering DNA:Friedrich Miescher and the Early Years of Nucleic Acid Research.HumanGenetics 122,no.6(2008):565-581.
[106]4.ValeryN.Soyfer, The Consequences of Political Dictatorship for Russian Science.NatureReviews Genetics 2,no.9(2001):723-729.
[107]5.J.D.Watsonand F.H.C.Crick, A Structure for Deoxyribose Nucleic Acid.Nature 171(1953):737-738;Double Helix:50 Years of DNA.Nature archive,http://www.nature.com/nature/dna50/archive.html.
[108]6.富兰克林在1958年逝世,她因为发现DNA于1962年被授予诺贝尔奖。于是便出现了这样的争议:如果她1962年仍在世,是否会和其他获奖者分享这一奖项。
[109]7.AlbertEinstein, On the Electrodynamics of Moving Bodies 1905,该文提出了狭义相对论。又可参见:Robert Bruce Lindsay, Henry Margenau, Foundations of Physics(Woodbridge, CT:Ox Bow Press,1981),330。
[110]8.需要注意的是,一些光子的动量被转移至灯泡内空气中的分子上(因为它并非完全真空),然后从加热的空气分子转移至叶片。
[111]9.爱因斯坦1905年在《物体的惯性同它所含的能量有关吗?》(Doesthe Inertia of a Body Depend Upon Its Energy Content?)一文中提出了著名的公式E=mc2。
[112]10.AlbertEinstein's Letters to President Franklin Delano Roosevelt, http://hypertextbook.com/eworld/einstein.shtml.
第3章
[113]1.据报道,一些非哺乳动物,如乌鸦、鹦鹉、章鱼等,具有一定的推理能力。不过,这只是有限的,而且它们不能制造工具,也就不能自我进化。这些动物可能已经适应用大脑的其他区域运行低水平分级思维,但像人类这样运行相对复杂的分级思维需要一个新皮质。
[114]2.V.B.Mountcastle,An Organizing Principle for Cerebral Function:TheUnit Model and the Distributed System(1978),in Gerald M.Edelman and Vernon B.Mountcastle, The Mindful Brain:Cortical Organization and the Group-Selective Theory of HigherBrain Function(Cambridge, MA:MIT Press,1982).
[115]3.HerbertA.Simon, The Organization of Complex Systems, in Howard H.Pattee, ed.,Hierarchy Theory:The Challenge of ComplexSystems(New York:George Braziller, Inc.,1973).
[116]4.MarcD.Hauser, Noam Chomsky, and W.Tecumseh Fitch, The Faculty of Language:What Is It, Who Has It, and How Did It Evolve?Science 298(November 2002):1569-1579.
[117]5.这段话摘自我和特里·格罗斯曼(Terry Grossman)的作品《超越:迈向美好永生的9个步骤》(Transcend:Nine Steps to Living Well Forever,2009),它详述了清醒地做梦的技巧。
我开发了一种边睡觉边解决问题的办法。过去几十年来,我已针对自己的情况进行了完善,也发现了一些巧妙的手段,使其效果发挥得更好。
一开始,在我上床睡觉时,我就给自己布置一个问题。什么样的问题都行。它可以是一个数学问题,可以是一个与我的发明有关的问题,也可以是一个商业策略问题,甚至可以是一个人际交往的问题。
我会先考虑几分钟,但尽量不去解决,因为那会阻碍创造性解决方法的产生。我尽量先想想,自己知道些什么?解决方案会是何种形式?然后才入眠。借助这些主要的流程,我的潜意识就在解决问题了。
特里:弗洛伊德指出,我们做梦的时候,大脑中大部分潜意识呈压抑力放松状态,所以我们也许就会梦到关于社会、文化,甚至是性方面的禁忌。在梦里,我们可以去想白天不能想的怪异事物。这至少就是梦很奇怪的原因之一。
我:同时也存在职业盲区,它限制了人们创造性的思维,绝大部分源自职业培训,像“那样,你解决不了信号处理问题”或“这些规则不能运用到语言学中去”的心理障碍。这些心理假设也在梦中得到了解放,所以在不受白天的这些约束的情况下,我可以在梦中想到解决问题的新途径。
特里:当我们做梦时,大脑里的另一个功能也不能正常工作,那就是理性思考的能力。我们通常借此来评价一个想法是否合理。所以这是会梦到稀奇古怪的事情的又一原因。看到大象穿墙而过,我们并不为大象如何能做到这一点感到惊讶。我们只是对梦中的自己说:“好吧,大象穿墙,这没什么大不了的。”事实上,如果我半夜醒来,经常会发现自己在梦中一直都在用离奇古怪的方法思考为自己布置的问题。
我:下一步发生在早晨半梦半醒的时候,通常称为清醒梦境。在这种状态下,我仍然会有来自梦中的感觉和想象,但此时我也恢复了理性思考的能力,例如,我意识到自己正躺在一张床上。同时,我可以开展理性思维活动,我还有很多事情要做,所以我最好起床。但是这种做法是错误的。我得尽可能地待在床上,继续保持这种清醒梦境的状态,因为它才是这一创造性方法的关键。顺便提一下,如果闹钟铃响,这就行不通了。
读者:听起来,它似乎两全其美。
我:不错。我依然记得,前一个晚上做梦时处理那个问题的想法。不过现在,我恢复了清醒的意识和理性,可以对晚上做梦时冒出来的富有创意的新思路进行评判。我能确定其中哪些是行之有效的。这大概需要20分钟,之后我就会对这个问题有全新深刻的见解。
借此,我想出来的许多项发明(用余下的时间写专利申请)解决了如何为创作这本书组织材料的问题,并为各种各样的问题找到了有效的方法。如果我要做一个重要决定,就会通过这样的过程思考,之后我往往对自己的决定充满信心。
这个过程的关键是让你的思维自由发挥,不受评判,也不必担心效果如何。它与心理约束是背道而驰的。首先考虑一下问题,然后随着你进入睡眠状态,任由思绪涌现、浮想联翩。到了早上,一边回顾梦境中浮现的奇思妙想,一边让自己的思维再次自由发散。我发现这是一个非常宝贵的方法,可以利用梦天然的创造力。
读者:嗯,像我们这样的工作狂,现在也可以在梦里工作了。不知道我的大脑是否也能做到这一点。
我:其实,只要你有这个想法,就能让你的梦为你工作。
第4章
[118]1.StevenPinker, How the Mind Works(New York:Norton,1997),152-153.
[119]2.D.O.Hebb, The Organization of Behavior(New York:John Wiley&Sons,1949).
[120]3.HenryMarkram and Rodrigo Perrin, Innate Neural Assemblies for Lego Memory.Frontiersin Neural Circuits 5,no.6(2011).
[121]4.2012年2月19日与亨利·马克拉姆交流的电子邮件。
[122]5.VanJ.Wedeen et al.,The Geometric Structure of the Brain Fiber Pathways.Science 335,no.6076(March 30,2012).
[123]6.TaiSing Lee, Computations in the Early Visual Cortex.Journal of Physiology—Paris97(2003):121-39.
[124]7.更多论文可参见:http://cbcl.mit.edu/people/poggio/tpcv_short_pubs.pdf。
[125]8.DanielJ.Felleman and David C.Van Essen, Distributed Hierarchical Processing in thePrimate Cerebral Cortex.Cerebral Cortex 1,no.1(January/February 1991):1-47;更多分析可见:Tai Sing Lee in Hierarchical Bayesian Inference in the VisualCortex, Journal of the OpticalSociety of America 20,no.7(July 2003):1434-1448.
[126]9.UriHasson et al.,A Hierarchy of Temporal Receptive Windows in Human Cortex.Journalof Neuroscience 28,no.10(March 5,2008):2539-2550.
[127]10.MarinaBedny et al.,Language Processing in the Occipital Cortex of Congenitally BlindAdults.Proceedings of the National Academy of Sciences 108,no.11(March 15,2011):4429-4434.
[128]11.DanielE.Feldman, Synaptic Mechanisms for Plasticity in Neocortex.Annual Review ofNeuroscience 32(2009):33-55.
[129]12.AaronC.Koralek et al.,Corticostriatal Plasticity Is Necessary for Learning IntentionalNeuroprosthetic Skills.Nature 483(March 15,2012):331-335.
[130]13.与科恩在2012年1月的邮件。
[131]14.MinFu, Xinzhu Yu, Ju Lu, and Yi Zuo, Repetitive Motor Learning Induces CoordinatedFormation of Clustered Dendritic Spines inVivo.Nature 483(March 1,2012):92-95.
[132]15.DarioBonanomi et al.,Ret Is a Multifunctional Coreceptor That Integrates Diffusible-andContact-Axon Guidance Signals.Cell 148,no.3(February 2012):568-582.
[133]16.参见第11章注4。
第5章
[134]1.VernonB.Mountcastle, The View from Within:Pathwaysto the Study of Perception.Johns Hopkins Medical Journal 136(1975):109-131.
[135]2.B.Roskaand F.Werblin, Vertical Interactions Across Ten Parallel, StackedRepresentations in the Mammalian Retina.Nature 410,no.6828(March 29,2001):583-587。美国加州大学伯克利分校2001年3月28日发布消息称:“加州大学伯克利分校的研究表明,视觉信息发送到大脑之前,眼睛过滤图片的其他信息,只允许最基本的要素通过。”参见:www.berkeley.edu/news/media/releases/2001/03/28_wers1.htm。
[136]3.LloydWatts, Reverse-Engineering theHuman Auditory Pathway.in J.Liu et al.,eds.,WCCI 2012(Berlin:Springer-Verlag,2012),47-59;Lloyd Watts, Real-Time, High-Resolution Simulation of theAuditory Pathway, with Application to Cell-Phone Noise Reduction.ISCAS(June 2,2010):3821-3824.
[137]4.SandraBlakeslee, Humanity?Maybe It's All in the Wiring.New York Times,December 11,2003.
[138]5.T.E.J.Behrenset al.,Non-Invasive Mapping of Connections between Human Thalamus andCortex Using Diffusion Imaging.Nature Neuroscience 6,no.7(July 2003):750-757.
[139]6.TimothyJ.Buschman et al.,Neural Substrates ofCognitive Capacity Limitations.Proceedings of the National Academy ofSciences 108,no.27(July 5,2011):11252-1155.
[140]7.TheodoreW.Berger et al.,A Cortical Neural Prosthesis for Restoring and Enhancing Memory.Journalof Neural Engineering 8,no.4(August 2011).
[141]8.A.Pougetand L.H.Snyder,“Computational Approaches to Sensorimotor Transformations,”Nature Neuroscience 3,no.11 Supplement(November 2000):1192-1198.
[142]9.J.R.Bloedel,Functional Heterogeneity with Structural Homogeneity:How Does the Cerebellum Operate?.Behavioral and Brain Sciences 15,no.4(1992):666-678.
[143]10.S.Grossberg,R.W.Paine, A Neural Model of Cortico-Cerebellar Interactions during AttentiveImitation and Predictive Learning of Sequential Handwriting Movements.NeuralNetworks 13,no.8-9(October-November 2000):999-1046.
[144]11.JavierF.Medina and Michael D.Mauk, Computer Simulation of Cerebellar InformationProcessing.Nature Neuroscience 3(November 2000):1205-1211.
[145]12.JamesOlds,“Pleasure Centers in the Brain,”Scientific American(October 1956):105-16.Aryeh Routtenberg,“The Reward System of the Brain,”ScientificAmerican 239(November 1978):154-64.K.C.Berridge andM.L.Kringelbach,“Affective Neuroscience of Pleasure:Rewardin Humans and Other Animals,”Psychopharmacology 199(2008):457-80.Morten L.Kringelbach, The Pleasure Center:Trust Your Animal Instincts(NewYork:Oxford University Press,2009).Michael R.Liebowitz, TheChemistry of Love(Boston:Little, Brown,1983).W.L.Witters and P.Jones-Witters, Human Sexuality:A Biological Perspective(NewYork:Van Nostrand,1980).
第6章
[146]1.MichaelNielsen, Reinventing Discovery:The New Era ofNetworked Science(Princeton, NJ:Princeton University Press,2012),1-3;T.Gowers and M.Nielsen, Massively Collaborative Mathematics.Nature 461,no.7266(2009):879-881;A Combinatorial Approach to Density Hales-Jewett.Gowers'sWeblog, http://gowers.wordpress.com/2009/02/01/a-combinatorial-approach-to-density-halesjewett/;Michael Nielsen, The Polymath Project:Scope of Participation.March 20,2009,http://michaelnielsen.org/blog/?p=584;Julie Rehmeyer, SIAM:MassivelyCollaborative Mathematics.Society for Industrial and Applied Mathematics, April1,2010,http://www.siam.org/news/news.php?id=1731.
[147]2.P.Dayanand Q.J.M.Huys, Serotonin, Inhibition, and Negative Mood.PLoS ComputationalBiology 4,no.1(2008).
第7章
[148]1.GaryCziko, Without Miracles:Universal SelectionTheory and the Second Darwinian Revolution(Cambridge,MA:MIT Press,1955).
[149]2.1999年,大卫·达尔布尔8岁。从那时起,他就一直是我的学员。背景资料详见:http://esp.mit.edu/learn/teachers/davidad/bio.html;http://www.brainsciences.org/Research-Team/mr-david-dalrymple.html。
[150]3.JonathanFildes, Artificial Brain“10 Years Away”.BBC News, July 22,2009;Henry Markram on Simulatingthe Brain:The Next Decisive Years.
[151]4.M.MitchellWaldrop, Computer Modelling:Brain in a Box.Nature News,February 22,2012.
[152]5.JonahLehrer, Can a Thinking, Remembering, Decision-Making Biologically AccurateBrain Be Built from a Supercomputer?;http://seedmagazine.com/content/article/out_of_the_blue/.
[153]6.Fildes,Artificial Brain“10 Years Away”.
[154]7.AndersSandberg and Nick Bostrom, WholeBrain Emulation:ARoadmap, Technical Report#2008-3(2008),Future of Humanity Institute, Oxford University.
[155]8.这是一个神经网络算法的基本架构。可能会出现许多变化,而系统设计者需要提供某些关键参数和方法,详细说明如下。
建立一个神经网络方案解决问题涉及以下步骤:
定义输入。
定义神经网络的拓扑结构(即神经元层次和神经元之间的联系)。
选取问题训练神经网。
执行神经网络的训练,解决新问题。
让你的神经网络公司上市。
步骤详列如下(除了最后一个):
问题的输入
输入到神经网络中的问题组成一系列数字。这种输入可以是:
在可视化的模式识别系统中,一个二维数组代表图像的像素;
或者在听觉(例如,语音)识别系统中,一个二维数组代表声音,其中第一维代表声音的参数(例如,频率分量),第二维代表不同的时间点;
或者在任意的模式识别系统中,一个n维数组代表所输入的图案。
设定拓扑结构
建立神经网络,每个神经元的结构包括:
多个输入端,其中每个输入端“联结”另一个神经元的输出端或者由此输入数字。
一般情况下,单一的输出端联结着另一个神经元(通常是处于更高层次)输入端或作为最终的输出端。
建立第一层神经元
在第一层建立N0个神经元。对于每一个这样的神经元,在问题输入过程中“联结”相应神经元的一个输入端,以传输“要点”(即数字)。这种联结可以随机决定或使用进化算法(见下文)。
为每个建立起来的联结分配一个初始“突触强度”。这些权重开始可保持相同,可随机分配,也可用另外一种方法来确定(见下文)。
建立多层神经元
总共建立M层神经元。每一层都要设置该层的神经元。
第i层:
建立Ni个神经元。每一个这样的神经元“联结”上一层神经元的一个输出端(变化见下文)。
为每个联结分配一个初始“突触强度”。这些权重开始可相同,可随机分配,也可用另外一种方法来确定(见下文)。
第M层神经元的输出端是神经网络的输出端(变化见下文)。
识别试验
每个神经元的工作原理
一旦神经元建立起来,所进行的识别实验均执行以下操作:
神经元每次加权输入的计算方法是,相应神经元的输出(或初始输入)与两神经元间联结的突触强度相乘。相应神经元的输出端与该神经元的输入端联结。
对神经元所有的加权输入求和。
如果总和大于该神经元的触发阈值,就认为该神经元被触发,且其输出为1。否则,其输出为0(变化见下文)。
每个识别实验均执行以下操作
从第0层到第M层的每一层:
该层的每个神经元:
对加权输入求和(每次加权输入=相应神经元的输出[或初始输入]乘以两神经元间联结的突触强度。)
如果此加权输入总和大于该神经元的触发阈值,设置该神经元的输出为1,否则设置为0。
训练神经网
选取问题示例反复运行识别试验。
每次试验后,调整所有神经元间联结的突触强度以提高神经网络的性能(相应讨论见下文)。继续训练,直到神经网络的准确率不再提高(即达到渐近线)。
关键设计决策
在上述简单模式中,神经网络算法的设计者需要一开始就确定:
输入的数字代表什么。
神经元层数。
每一层神经元的数量。(每一层神经元的数量并不一定相同。)
每一层每个神经元的输入次数。输入次数(即神经元间的联结数)也可随着神经元和层的不同而变化。
实际“接线”(即联结)。每一层中的每个神经元,由一系列其他神经元组成,它们的输出端与该神经元输入端联结。这是设计的关键部分,有一些可行方法:
(1)随机联结神经网络;
(2)使用进化算法(见下文)确定最佳接线;
(3)以系统设计者的最佳判断决定接线。
每个联结的初始突触强度(即权重)。可行的方法如下:
(1)将突触强度设定为相同的值;
(2)将突触强度随机设定为不同的值;
(3)使用进化算法确定一组最佳初始值;
(4)通过系统设计者的最佳判断确定初始值。
每个神经元的触发阈值。
确定输出。该输出可以是:
(1)M层多个神经元的输出;
(2)单一输出神经元的输出,其输入为M层多个神经元的输出;
(3)M层神经元的输出函数(例如,总和);
(4)多层神经元的输出函数。
确定该神经网络过程中所有联结的突触强度如何调整,这是设计的关键决策,也是大量研究和讨论的主题。可行的方法如下:
(1)对于每个识别试验,让每个突触强度按定量(一般较小)递增或递减,以使神经网络的输出更接近于正确答案。方法之一就是对递增和递减两种情况都进行尝试,看看哪种效果更为理想。但这样比较费时,所以另有方法决定是递增还是递减突触强度。
(2)其他的统计方法可以在每次识别实验后修改突触强度,确保神经网络的性能更接近正确答案。
需要注意的是,即使训练试验的答案并非完全正确,神经网络训练也是有效的。这就允许在真实世界中使用训练数据,尽管它可能存在错误率。基于神经网络的识别系统成功的一个关键是用于训练的数据量。通常需要一个非常可观的量才能取得令人满意的结果。对于人类学员来说,获取经验所花费的时间是决定性能的关键因素。
变体
上述许多种变体是可行的。例如:
确定拓扑结构有多种不同的方法。尤其是神经元间接线可以随机设置或借助进化算法。
设置初始突触强度也有多种方法。第i层神经元的输入信息并不一定源自上一层神经元的输出信息。另外,每一层神经元的输入信息可以来自较低层或任意层。
确定最终的输出存在多种方法。
上述方法导致的结果为“是或否”(1或0)的触发模式称为非线性函数。也可使用其他非线性函数。通常使用的函数遵循在0和1之间快速却渐进的识别模式。此外,输出的信息也可以是0和1以外的数字。
训练期间调节突触强度所用的不同方法代表着设计的关键决策。
上述模式所描述的是一个“同步”神经网络,其中每个识别实验的开展是通过计算每一层的输出信息,从0层开始一直持续到M层。在一个真正同步的系统中,每个神经元的运作是独立于其他神经元的,神经元可以“异步”(即独立)运作。在异步模式中,每个神经元持续不断地扫描其输入信息,当加权输入的总和超过其阈值(或任何输出函数指定值)即可触发。
[156]9.这是一种遗传(进化)算法的基本架构。可能出现许多变化,系统设计者需要提供某些关键参数和方法,详述如下。
进化算法
创造N个用于解决问题的“生物”。每个都具备:
遗传代码:一个数字序列,描述可行的解决方案的特征。数字可以代表关键参数,解决方案的步骤、规则等。
对于进化的每一代,按照如下操作:
对N个生物都执行下列操作:
将此生物所提供的解决方案(用遗传代码代替)应用到问题或模拟的环境中去。再评估该方案。
挑选评价最高的L个生物作为存活下来的下一代生物。
剔除其他(N-L)个不能存活的生物。
从L个存活下来的生物中创造(N-L)个新生物,通过以下方式:
(1)复制存活下来的生物。将少量随机变异植入每个副本中。
(2)从L个存活的生物中获取部分遗传代码(利用“有性”繁殖,或以其他方式结合部分染色体),借此创造更多生物。
(3)结合(1)和(2)。
确定是否继续进化:
改良=(这代的最高评级)-(上一代最高评级)
如果改良<改良阈值,那么我们就大功告成了。
从进化的最后一代获得的、具有最高评价的生物提供的就是最佳解决方案。接着应用遗传代码定义的方案解决问题。
设计的关键决策
在上述简单模式中,设计者从一开始就要确定:
主要参数:
N
L
改良阈值。
遗传代码中的数字代表什么,以及从遗传代码中如何运算解决方案。
确定第一代M个生物的方法。一般情况下,解决方案只需要“合理”的尝试。如果第一代生物提供的解决方案相差太远,进化算法可能就难以形成一个好的解决方案。因此,创造具有一定多样性的初始生物是很必要的。这有助于避免在进化过程中出现仅有“局部”最优解的情况。
如何为解决方案评级。
如何繁殖存活下来的生物。
变体
上述许多变体是可行的。例如:
每一代存活下来的L个生物不需保持定量。生存规则可以允许存活下来的生物数目发生变化。
从N-L的每一代,创造的新生物不需保持定量。繁殖规则的大小可独立于生物数量。繁殖可与存活数相联系,从而让最优的生物得到最大的繁殖机会。
是否要继续进化是可以随机应变的。不仅获得最高评级的生物的近代后裔可以考虑,遗传刚好超过两代的性状也可以考虑。
[157]10.DileepGeorge, How the Brain Might Work:A Hierarchical and TemporalModel for Learning and Recognition.(PhDdissertation, Stanford University, June 2008).
[158]11.A.M.Turing,Computing Machinery and Intelligence.Mind, October 1950.
[159]12.休·勒布纳每年都会举行一个“勒布纳奖”的比赛。勒布纳银牌授予仅通过图灵原始文本测试的电脑。金牌则授予通过包括音频和视频输入、输出的版本测试的电脑。但在我看来,包括音频和视频的测试实际上并未使测试变得更具挑战性。
[160]13.CognitiveAssistant That Learns and Organizes.Artificial Intelligence Center, SRIInternational.
[161]14.OvercomingArtificial Stupidity.WolframAlpha Blog, April 17,2012,http://blog.wolframalpha.com/author/stephenwolfram/.
第8章
[162]1.SalomonBochner, A Biographical Memoirof John von Neumann(Washington, DC:National Academy of Sciences,1958).
[163]2.A.M.Turing,On Computable Numbers, with an Application to the Entscheidungsproblem.Proceedingsof the London Mathematical Society Series2,vol.42(1936-1937):230-265;A.M.Turing, On ComputableNumbers, with an Application to the Entscheidungsproblem:A Correction.Proceedings of the London Mathematical Society 43(1938):544-546.
[164]3.Johnvon Neumann, First Draft of a Report on the EDVAC.Moore School of ElectricalEngineering, University of Pennsylvania, June 30,1945;John von Neumann, A Mathematical Theory of Communication.BellSystem Technical Journal, July and October 1948.
[165]4.JeremyBernstein, The AnalyticalEngine:Computers—Past, Present, and Future,rev.ed.(New York:William Morrow&Co.,1981).
[166]5.Japan'sK Computer Tops 10 Petaflop/s to Stay Atop TOP500 List.Top 500,November 11,2011.
[167]6.CarverMead, Analog VLSI and NeuralSystems(Reading, MA:Addison-Wesley,1986).
[168]7.IBMUnveils Cognitive Computing Chips.IBM news release, August 18,2011.
[169]8.Japan'sK Computer Tops 10 Petaflop/s to Stay Atop TOP500 List.”
第9章
[170]1.JohnR.Searle, I Married a Computer.in Jay W.Richards, ed.,Are We Spiritual Machines?Ray Kurzweil vs.the Critics of Strong AI(Seattle:Discovery Institute,2002).
[171]2.StuartHameroff, Ultimate Computing:BiomolecularConsciousness and Nanotechnology(Amsterdam:Elsevier Science,1987).
[172]3.P.S.Sebelet al.,The Incidence of Awareness during Anesthesia:A Multicenter United States Study.Anesthesia and Analgesia 99(2004):833-839.
[173]4.StuartSutherland, The InternationalDictionary of Psychology(New York:Macmillan,1990).
[174]5.DavidCockburn, Human Beings and Giant Squids.Philosophy 69,no.268(April 1994):135-150.
[175]6.IvanPetrovich Pavlov, from a lecture given in 1913,publishedin Lectures on ConditionedRefl exes:Twenty-Five Years of Objective Study ofthe Higher Nervous Activity[Behavior]of Animals(London:Martin Lawrence,1928),222.
[176]7.RogerW.Sperry, from James Arthur Lecture on the Evolution of the Human Brain,1964,p.2.
[177]8.HenryMaudsley, The Double Brain.Mind 14,no.54(1889):161-187.
[178]9.SusanCurtiss and Stella de Bode, Language after Hemispherectomy.Brain andCognition 43,nos.1-3(June-August 2000):135-138.
[179]10.E.P.Vininget al.,Why Would You Remove Half a Brain?The Outcome of 58 Children afterHemispherectomy—the Johns Hopkins Experience:1968to 1996.Pediatrics 100(August 1997):163-171;M.B.Pulsifer et al.,The Cognitive Outcome ofHemispherectomy in 71 Children.Epilepsia 45,no.3(March 2004):243-154.
[180]11.S.McClellandIII and R.E.Maxwell, Hemispherectomy for Intractable Epilepsy in Adults:The First Reported Series.Annals of Neurology 61,no.4(April 2007):372-376.
[181]12.LarsMuckli, Marcus J.Naumerd, and Wolf Singer, Bilateral Visual Field Maps in aPatient with Only One Hemisphere.Proceedings of the National Academy ofSciences 106,no.31(August 4,2009).
[182]13.MarvinMinsky, The Society of Mind(New York:Simon and Schuster,1988).
[183]14.F.FayEvans-Martin, The NervousSystem(New York:Chelsea House,2005).
[184]15.BenjaminLibet, Mind Time:The Temporal Factor in Consciousness(Cambridge, MA:Harvard University Press,2005).
[185]16.DanielC.Dennett, Freedom Evolves(New York:Viking,2003).
[186]17.DavidHume, An Enquiry ConcerningHuman Understanding(1765),2nd ed.,edited by Eric Steinberg(Indianapolis:Hackett,1993).
[187]18.FromRaymond Smullyan,5000 B.C.and Other PhilosophicalFantasies(New York:St.Martin's Press,1983).
[188]19.相似研究可参见:Martine Rothblatt, The Terasem Mind Uploading Experiment.InternationalJournal of Machine Consciousness 4,no.1(2012):141-158。在本文中,罗斯布拉特基于“视频访谈和前身相关信息的数据库”借用模拟个人的软件检测身份问题。在这个颇具前瞻性的实验中,软件成功模拟了所对应的人。
[189]20.HowDo You Persist When Your Molecules Don't?.Science and Consciousness Review 1,no.1(June 2004).
第10章
[190]1.DNASequencing—The History of DNA Sequencing.January 2,2012,http:www.dnasequencing.org/history-of-dna.
[191]2.DNASequencing Costs.National Human Genome Research Institute, NIH, http://www.genome.gov/sequencingcosts/.
[192]3.GeneticSequence Data Bank, Distribution Release Notes.December 15,2009,National Center forBiotechnology Information, National Library of Medicine.
[193]4.TeleGeography.PriMetrica,Inc.,2012.
[194]5.DaveKristula, The History of the Internet(March1997,update August 2001);Robert Zakon,Hobbes'Internet Timeline v8.0,http://www.zakon.org/robert/internet/timeline;QuestCommunications,8-K for 9/13/1998 EX-99.1;Converge!Network Digest, December 5,2002;Jim Duffy, AT&T PlansBackbone Upgrade to 40G, Computerworld, June 7,2006;40G:The Fastest Connection You Can Get, InternetNews.com, November 2,2007;Verizon First Global ServiceProvider to Deploy 100G on U.S.Long-Haul Network, Verizon.
[195]6.1000美元每秒的计算量

续前表

[196]7.Top500 Supercomputer Sites, http://top500.org/.
[197]8.MicroprocessorQuick Reference Guide.Intel Research, http://www.intel.com/pressroom/kits/quickreffam.htm.
[198]9.1971—2000:VLSI Research Inc.
2001—2006:The InternationalTechnology Roadmap for Semiconductors,2002Update and 2004 Update, Table 7a,“Cost—Near-term Years”“DRAMcost/bit at(packaged microcents)at production.”
2007—2008:The InternationalTechnology Roadmap for Semiconductors,2007,Tables 7a and 7b,“Cost—Near-termYears”“Cost—Long-term Years,”http://www. itrs.net/Links/2007ITRS/ExecSum2007.pdf.
2009—2022:The InternationalTechnology Roadmap for Semiconductors,2009,Tables 7a and 7b,“Cost—Near-termYears”“Cost—Long-term Years,”http://www. itrs.net/Links/2009ITRS/Home2009.htm.
[199]10.根据美联储CPI数据作了美元换算,详见:http://minneapolisfed.org/research/data/us/calc/.例如,1960年的100万美元相当于2000年的580万美元。
1949:http://www. cl.cam.ac.uk/UoCCL/misc/EDSAC99/statistics.html;http://www.davros.org/misc/chronology.html.
1951:Richard E. Matick, Computer Storage Systems andTechnology(New York:John Wiley&Sons,1977).
1955:Matick, Computer StorageSystems and Technology;OECD,1968.
1960:ftp://rtfm.mit.edu/pub/usenet/alt.sys.pdp8/PDP-8_Frequently_Asked_Questions_%28posted_every_other_month%29;http://www.dbit.com/~greeng3/pdp1/pdp1.html#INTRODUCTION.
1962:ftp://rtfm. mit.edu/pub/usenet/alt.sys.pdp8/PDP-8_Frequently_Asked_Questions_%28posted_every_other_month%29.
1964:Matick, Computer Storage Systems andTechnology;http://www.research.microsoft.com/users/gbell/craytalk;http://www.ddj.com/documents/s=1493/ddj 0005hc/.
1965:Matick, Computer Storage Systems andTechnology;http://www.fourmilab.ch/documents/univac/config1108.html;http://www.frobenius.com/univac.htm.
1968:Data General.
1969,1970:http://www.eetimes.com/special/special_issues/millennium/mile stones/whittier.html.
1974:Scientific ElectronicBiological Computer Consulting(SCELBI).
1975—1996:Byte magazineadvertisements.
1997—2000:PC Computing magazineadvertisements.
2001:www. pricewatch.com(http://www.jc-news.com/parse.cgi?news/pricewatch/raw/pw-010702).
2002:www. pricewatch.com(http://www.jc-news.com/parse.cgi?news/pricewatch/raw/pw-020624).
2003:http://sharkyextreme. com/guides/WMPG/article.php/10706_2227191_2.
2004:http://www. pricewatch.com(11/17/04).
2008:http://www. pricewatch.com(10/02/08)($16.61).
[200]11.迪讯/英特尔和开拓者的研究:

续前表

[201]12.史蒂夫·卡伦(Steve Cullen),In-Stat调查,2008年9月,www.instat.com.

续前表

[202]13.HistoricalNotes about the Cost of Hard Drive Storage Space, http://www.littletechshoppe.com/ns1625/winchest.html;Byte magazine advertisements,1977—1998;PC Computing magazine advertisements,3/1999;Understanding Computers:Memory and Storage(NewYork:Time Life,1990);John C.McCallum, Disk Drive Prices(1955—2012),http://www.jcmit.com/diskprice.htm;IBM, Frequently Asked Questions, http://www-03.ibm.com/ibm/history/documents/pdf/faq.pdf;IBM, IBM 355 Disk Storage Unit, http://www-03.ibm.com/ibm/history/exhibits/storage/storage_355.html;IBM, IBM 3380 Direct Access Storage Device, http://www.03-ibm.com/ibm/history/exhibits/storage/storage_3380.html.
[203]14.WithoutDriver or Map, Vans Go from Italy to China.Sydney Morning Herald, October 29,2010.
[204]15.KurzweilAI.net.
[205]16.此处引用征得了两位作者阿米拉姆·格林瓦尔德(Amiram Grinvald)和里娜·希尔德斯海姆(Rina Hildesheim)的同意,详见:VSDI:A New Era in FunctionalImaging of Cortical Dynamics.Nature Reviews Neuroscience 5(November2004):874-885。
大脑成像的主要工具如图10-14所示。它们的能力由带阴影的矩形柱描绘。
空间分辨率指的是借助一项技术可以测量的最小规格。时间分辨率指的是成像时间或其持续时间。对每项技术都需要进行权衡。例如,用于测量“脑电波”(来自神经元的电信号)的脑电图(EEG)可测量(在极短的时间间隔中发生的)高速脑电波,但只能感测大脑表层附近的信号。
相比之下,功能性磁共振成像(fMRI)利用特殊的磁共振成像仪测量通过神经元的血液流动(显示神经元的活动),它可以检测大脑(和骨髓)的更深部位,且具有更高的分辨率,精确至数十微米(百万分之一米)。不过,功能磁共振成像相比脑电图而言运行速度更为缓慢。
这些都是非侵入性技术(无需任何手术或药物)。脑磁图(MEG)是另一种非侵入性技术。它能监测神经元所产生的磁场。MEG和EEG的时间分辨率最低可以达到1毫秒,性能优于功能磁共振成像,从而能以最好的水平对几百毫秒内的活动进行处理。MEG还能在初级听觉、体感和运动区的输入源实行精准定位。
光学成像技术几乎覆盖了所有空间分辨率和时间分辨率的范围,不过是侵入性的。电压敏感染料(VSDI)是测量大脑活动的最灵敏的方法,但是仅限于动物皮质表面附近的测量。
暴露的皮质覆盖有一个透明的密封腔室;用合适的电压敏感染料为皮质染色后,会在光照下显示出来,图像序列可以被高速摄像机拍摄下来。实验室中使用的其他光学技术包括离子成像(通常利用钙或钠离子)和荧光成像系统(聚焦成像和多光子成像)。
实验室使用的其他技术还有正电子放射断层造影术(PET,它是一种核医学成像技术,可以产生3D图像),2-脱氧葡萄糖法(2DG,或称组织分析),损伤技术(涉及破坏动物的神经元以及观察其效果),膜片钳技术(用以测量跨生物膜的离子电流),以及电子显微镜技术(使用电子束精确检测组织或细胞)。这些技术也可以与光学成像技术综合使用。
[206]17.磁共振成像技术的空间分辨率,精确到微米(μm),1980—2012:

[207]18.以纳米(nm)为单位的破坏性脑成像技术的空间分辨率,1983—2011年:

续前表

[208]19.以微米(μm)为单位的动物大脑无损成像技术的空间分辨率,1985—2012年:

续前表

续前表

第11章
[209]1.PaulG.Allen and Mark Greaves, Paul Allen, The Singularity Isn't Near.TechnologyReview, October 12,2011.
[210]2.ITRS,International Technology Roadmap for Semiconductors.http://www.itrs.net/Links/2011ITRS/Home2011.htm.
[211]3.引自艾伦和格里夫斯的著作《奇点依旧遥远》的尾注2,内容如下:
计算机的能力开始达到我们所需的范围,借此就可支持大规模脑仿真。千万亿次运算级的计算机(如IBM沃森系统所用的BlueGene/P)现在已投入商业使用。更高运算级的计算机目前也在规划当中。这些系统配置所需的原始计算能力极有可能可以模拟单个大脑所有神经元激活的模式,尽管目前仍然比实际大脑的速度慢许多倍。
[212]4.尽管我们不可能精确地测定基因组中的信息量(因为存在重复的碱基对,所以实际的量显然远比未经压缩数据总量要低),但以下两种方法仍可以估算出基因组中压缩的信息量,两种方法都表明了300万至1亿字节的范围相对较高。
(1)就未压缩的数据来看,人类基因编码有3亿个DNA双螺旋分子,每一个编码2个字节(因为每个DNA碱基对有4种排列方式)。因此,未压缩的情况下,人类基因组约有8亿字节。过去常称非编码DNA为“垃圾DNA”,不过现在它显然在基因表达中发挥着重要作用。然而,这种编码非常低效。因为存在大量冗余(例如,被称为“ALU”的序列重复达几十万次),而压缩算法可以对此加以利用。
随着最近基因数据库的激增,基因数据压缩吸引了众多的关注。最近,将标准数据压缩算法运用到基因数据中的工作显示,减少90%的数据(实现字节最大压缩)是可行的.参见:Hisahiko Sato et al.,DNAData Compression in the Post Genome Era.Genome Informatics 12(2001):512-514。
因此我们可以将基因组压缩至约8 000万字节,却不损失信息(这意味着我们完全可以重建8亿字节未压缩的基因组)。
现在考虑一下,98%以上的基因组并不编码蛋白质。即便经过标准数据压缩(消除冗余,还可以查字典寻找常见的序列)之后,非编码区的算法信息量还是相当低,这就意味着我们可能编码出一种算法,用更少的字节执行相同的功能。然而,由于我们仍然处在逆向建立基因组这一过程的初期,不能基于功能对等算法得出进一步减少的可靠估算。因此,我正在使用范围为3 000万到1亿字节基因组压缩信息。这个范围最高值只根据假定进行了数据压缩,而未经过算法简化。
只有部分信息(尽管是大多数)描述了大脑设计的特征。
(2)另一种推理方式如下。尽管人类基因组包含大约3亿个碱基,但如上所述,只有一小部分编码蛋白质。根据目前的估计,编码蛋白质的基因有26 000个。如果我们假设这些基因平均有3 000个包含有用数据的碱基,就相当于只有约78万个碱基。DNA中的一个碱基只需要2个字节,也就是转化为约20万个字节(78万个碱基除以4)。在一个基因的蛋白质编码序列中,3个DNA碱基的每一个“字”(密码子)转换成一个氨基酸。因此,可能存在43(64)个密码子编码,每个包含3个DNA碱基。然而,64个中只有20个氨基酸和一个终止密码子(空氨基酸)。其余的43个编码与21个有效编码同等存在。而6个字节需要编码64种可能的组合,只有约4.4(log221)字节需要编码21种组合,6个字节省下1.6个字节(约27%),为我们带来约1 500万个字节。此外,基于重复序列的某种标准压缩在这里是可行的,尽管DNA蛋白质编码部分的压缩可能性比所谓的垃圾DNA要小得多——因为垃圾DNA中有大量的冗余。所以,这可能会使其数目少于1 200万字节。不过,现在我们必须为控制基因表达的DNA非编码部分添加信息。虽然这部分DNA构成基因组的很大部分,但它的信息容量级别不高,且充斥着大量的冗余。估计匹配编码蛋白质的DNA约有1 200万字节,我们再次估算到约2 400万字节。从这个角度来看,3 000万~1亿字节的估计相对较高。
[213]5.DharmendraS.Modha et al.,Cognitive Computing.Communications of the ACM 54,no.8(2011):62-71.
[214]6.MichaelDenton, Organism and Machine:The Flawed Analogy.in Are We Spiritual Machines?RayKurzweil vs.the Critics of Strong AI(Seattle:Discovery Institute,2002).
[215]7.HansMoravec, Mind Children(Cambridge, MA:Harvard University Press,1988).
后记
[216]1.InU.S.,Optimism about Future for Youth Reaches All-Time Low.Gallup Politics, May 2,2011.
[217]2.JamesC.Riley, Rising LifeExpectancy:AGlobal History(Cambridge:Cambridge University Press,2001).
[218]3.J.BradfordDeLong, Estimating World GDP, One Million B.C.—Present.May 24,1998;Peter H.Diamandis, Steven Kotler,Abundance:The Future Is Better Than You Think(New York:Free Press,2012).
[219]4.MartineRothblatt, Transgender toTranshman(privately printed,2011).
[220]5.以下文字摘自《奇点临近》第3章,根据物理定律讨论了计算的极限。
电子计算机的极限可谓高不可攀。麻省理工学院教授塞思·劳埃德(Seth Lloyd),在加州大学伯克利分校教授汉斯·布雷默曼和纳米技术理论家罗伯特·弗雷塔斯工作的基础上,根据已知的物理定律,对被称为“终极笔记本电脑”的最大计算能力进行了估测,它重为1千克,体积为1升,与小型笔记本电脑的规格差不多。
计算潜力随着能量的增多而上升。我们可以按照如下叙述理解能量和计算能力之间的联系。一定物质的能量与每个原子(和亚原子粒子)的能量相关。所以原子数越多,能量越多。如上文所述,每个原子都可用于计算。因此,原子越多,计算能力越强。每个原子或粒子的能量随着其运动频率的升高而升高:运动越剧烈,能量越多。计算潜能也存在着同样的关系:运动频率越高,元件(可以是一个原子)可执行计算越复杂。(我们可以在现在的芯片中看到这一点:芯片频率越高,运算速度越快。)
因此,物体的能量与其计算潜力之间存在一个正比关系。从爱因斯坦的方程E=mc2可以得知,一千克物质潜在的能量非常巨大。光速的平方是一个非常大的数字:约为1017米2/秒2。物质潜能的计算也由一个非常小的数字决定,普朗克常数:6.6×10-34焦耳-秒(焦耳是一个能量单位)。这是我们可以应用的、最小规模的能量计算。总能量(即每个原子或粒子的平均能量与该粒子数量相乘所得的积)除以普朗克常数,我们就得到了一种物质计算能力的理论极限值。
劳埃德演示了1千克物质的潜在计算能力等于π倍能量除以普朗克常数的计算过程。由于能量数字巨大且普朗克常数极其微小,这个等式得出了一个非常大的数字:约每秒5×1050次。
[注:π×能量最大值(1017千克×米2/秒2)/(6.6×10-34)≈5×1050次/秒。]
如果我们将这个数字联系到人类的大脑容量,得出最保守的估计(1019cps和1010个人),大约相当于5亿兆人类文明。
[注:5×1050次/秒相当于5×1021(5亿兆)人类文明(每人需要达到1029cps)。]
如果我们使用的计算机达到1016cps,我相信它足以能模拟人类智能,终极笔记本电脑将相当于具备5 000亿兆人类文明的大脑。
[注:100亿(1010)人,每人按1016cps的速度运算相当与人类文明的1026cps。因此,5×1050cps相当于5×1024(5 000亿兆)人类文明。]
这样一台笔记本电脑的计算能力让它可以在万分之一纳秒内模拟过去万年来人类所有思想(也就是一亿人类大脑工作万年)。
[注:这个估算是一个比较保守的假设,假设过去万年来,一直都有1亿人,显然情况并非如此。人类的实际数目一直在逐渐增加,到2000年达到约61亿。一年有3×107秒,一万年则有3×1011秒。因此,估计值1026cps代表人类文明,过去万年来的人类思想就相当于3×1037次计算。终极笔记本电脑一秒钟内执行5×1050次。因此,模拟过去万年来100亿人的思想需要10-13秒左右,仅为一纳秒的万分之一。]
同样,也有一些告诫。将约1千克重的笔记本电脑全部转化为能量等于一次热核爆炸。当然,我们不希望笔记本电脑爆炸,而是保持着一升的体积。因此,至少需要一点精心的包装。通过分析这样的装置所含熵(自由程度由所有粒子的状态代表)的最大值,劳埃德表示,这样一台电脑理论内存容量为1031字节。很难想象,技术将一路迎难而上,直到接近这些极限。不过,我们可以轻易预想到,这些技术必将成为现实。俄克拉何马大学的研究项目表明,我们已经证明每个原子(虽然到目前为止只在少量的原子上得到证实)能够存储至少50字节信息。因此,在1千克物质所包含的1025个原子中存储1027字节内存最终必将实现。
但是,因为每个原子有许多性质可以开发用来存储信息——例如精确位置,旋转和所有粒子的量子态,所以我们也许可以使之超过1027字节。神经学家安德斯·桑德伯格估计一个氢原子的潜在存储容量大约为400万字节。但是这些尚未得到证明,所以我们将使用保守估计。
如上所述,每秒1042次计算在不产生明显热能的情况下可以实现。通过全面部署可逆计算技术,使用产生低级错误的设计以及允许合理能量损耗,我们应该停留在1042/秒和1050次/秒之间的某个点上。
这两个极限之间区间的设计十分复杂。从1042~1050,检查其间出现的技术问题超出了本章的范围。然而,我们应该记住,使之有效的条件并非从1050这个极限开始,还要基于各种实际考虑向后推理。而且,技术将继续得到提升,并始终利用最新的技艺发展到一个新的水平。因此,等到有一天,我们获得了1042cps(每千克)的文明,那时的科学家和工程师将利用广泛使用的非生物基本智能解决如何达到1043,然后是1044等问题。我期望着我们无限接近极限。
即使处于1042cps,一个1千克重的“终极便携电脑”10微秒的计算量也相当于过去万年来所有人类思想(假设十万年来有100亿人类大脑)。
[注:见上文附注。1042cps等于1050cps与10-8之积,所以万分之一纳秒变成了10微秒。]如果我们研究计算的指数增长(第2章),就会发现到2080年实现这一计算量估计只需花费1 000美元。