北京治疗白癜风大约多少钱 https://m.39.net/pf/a_4629688.html年图灵奖得主、法国人工智能科学家杨立昆（YannLeCun）被认为是深度学习的发明者之一，也被誉为“卷积神经网络”之父。最近他出版了自传《科学之路：人、机器与未来》，这也是一本介绍人工智能相关领域的科普著作。作为当今火热的深度学习的构建者，杨立昆对人工智能的低谷与辉煌有着切身实际感受以及冷静务实的思考。那么他是如何踏上自己的科学之路的？
本文经授权节选自《科学之路：人、机器与未来》（中信出版社）第二章，内容有删减，标题为编辑所加。前往“返朴”，点击文末“阅读原文”可购买此书。点击“在看”并发表您的感想至留言区，截至年9月12日中午12点，我们会选出1条留言，赠书1本。
撰文丨杨立昆（YannLeCun）
翻译丨李皓、马跃
信息的自由流动就是进步的动力。
——杨立昆
遭遇寒冬
年，西摩尔·帕普特（SeymourPapert）和马文·明斯基（后者在20世纪50年代曾热衷于人工神经网络的研究，后来放弃了）联合出版《感知器：计算几何学概论》一书[1]。他们在书中指出了学习机的局限性，其中有些局限性对于技术发展会造成严重阻碍。因此对他们来说，神经网络的研究之旅已经走入了死胡同。这两位都是麻省理工学院极负盛名的权威教授，他们的作品在领域内引起了轰动：资助机构纷纷退出，不再支持该领域的研究工作。与GOFAI（goodold-fashionedartificialintelligence，好的老式人工智能。基于逻辑、规则和搜索算法的传统人工智能方法。）一样，神经网络的研究也遭遇了它的第一个“冬天”。
大多数科学家不再谈论制造具有学习能力的智能机器之事，转而把目光转向了更容易落地的项目。比如，运用一些原本用来研究神经网络的方法创建了“自适应滤波”，这是许多现代通信技术的起源。在此之前，当我们通过电话线在两台计算机之间交换数据时，电话线可能会发生以下情形：我们输入一个二进制信号，电压从0伏升到48伏，而信号在距离目的地还剩几公里时就已经损坏了。但现在，自适应滤波器能将其复原，这个过程是通过以其发明者鲍勃·拉迪（BobLucky）的名字命名的Lucky算法实现的。20世纪80年代后期，鲍勃·拉迪曾在贝尔实验室担任部门经理，领导着约人工作，我也是其中一员。
如果没有自适应滤波，就不会出现带扬声器的电话。扬声器可以让我们对着麦克风讲话，而它不需要同时记录对话者说的话（有时我们能听到自己在说话）。回声消除器使用的算法与感知器使用的算法非常相似。
狂热的疯子
在20世纪七八十年代的“寒冬”里，仍有一些人执着于神经网络研究，科学界把他们视为狂热的疯子。比如，芬兰人戴沃·科霍宁（TeuvoKohonen），他研究的是一个与神经网络比较接近的课题—联想记忆。再比如，还有一群日本人，与西方不同，日本的工程科学生态系统比较孤立，其中包括数学家甘利俊一（Shun-IchiAmari）和一位名为福岛邦彦（KunihikoFukushima）的业内人士，后者发布了一个被他称为“认知机”（Congitron）的机器，这一命名来自术语“感知器”（preceptron）。福岛邦彦前后一共发布了这个机器的两个版本，分别是20世纪70年代的认知机和80年代的神经认知机（Neocognitron）。与同时代的弗兰克·罗森布拉特一样，福岛邦彦也受到了神经科学新发现的启发，特别是美国人大卫·休伯尔（DavidH.Hubel）和瑞典人托斯坦·威泽尔（TorstenN.Wiesel）的发现给予了他很多灵感。
休伯尔和威泽尔是两位神经生物学家，他们因在猫的视觉系统方面的研究成果获得了年的诺贝尔生理学或医学奖。他们发现视觉是视觉信号通过几层神经元传递后呈现的结果，包括从视网膜到初级视觉皮层，再到视觉皮层的其他区域，最后到颞下皮层。在这些层级中，神经元发挥着非常特殊的作用。在初级视觉皮层中，每个神经元仅连接到视野的一小部分区域，即接收区域。这些神经元被称为简单细胞。在下一层，即视觉皮层中，其他单元集成了上一层激活的信息，使得视觉对象即使在视野中稍微移动，视觉系统也能保持图像的呈现。这些单元被称为复杂细胞。
福岛邦彦便是受到这个研究成果的启发，延伸出了一个想法：先利用一层简单细胞检测各个小接收区域所接收的图像的简洁信息，再利用下一层复杂细胞处理收集到的信息。他研发的神经认知机共有5层：简单细胞、复杂细胞、简单细胞、复杂细胞，最后是类似感知器的分类层。福岛在前四层使用了某种“不受监督”的学习算法，也就是说，它们接受的是不考虑完成任务的、“盲目”的训练。仅有最后一层像感知器一样，接受了“受监督”的训练。但从总体来看，福岛邦彦缺乏一种可以调整所有层级参数的算法，所以他的网络只能识别诸如数字一类极其简单的事物。
在20世纪80年代初期，福岛邦彦并非独自一人在此领域进行探索，北美的一些团队也在进行着积极的探索，例如心理学家杰伊·麦克莱兰德（JayMcClelland）和戴夫·鲁梅尔哈特（DavidRumelhart），还有生物物理学家约翰·霍普菲尔德（JohnHopfield）和特伦斯·谢诺夫斯基（TerrySejnowski），以及计算机科学家杰弗里·辛顿（GeoffreyHinton）。辛顿与我共享了年度图灵奖。
被兴趣激发的人
从20世纪70年代起，我开始对这些研究产生了浓厚的兴趣，我的好奇也许来自对父亲的观察。他是一名航空工程师，同时也是一位动手天才，他总是喜欢在业余时间做电子产品。他制作过遥控飞机的简化模型。记得那是在年5月大罢工期间（译者注：这里的大罢工指“五月风暴”，是年5月法国爆发的一场学生罢课、工人罢工的群众运动。），父亲在家里制作了他人生中第一个遥控汽车和一艘船的遥控器。我并不是家里唯一被激发兴趣的人，我弟弟也是。他比我小6岁，同样受到父亲的影响，后来也成为计算机科学家。他大学毕业后成为谷歌的研究员。
在很早的时候，我就对技术、征服太空以及计算机的诞生充满了探索的热情。我曾梦想成为一名古生物学家，因为人类智能的出现及演化深深地吸引了我。即使在今天，我也依旧认为大脑的运行机制是生命世界中最神秘的事物。我8岁的时候，在巴黎跟我的父母、一位叔叔和一位沉迷于科幻的阿姨一起看过一部电影——《太空漫游》。影片里出现了我所热爱的一切：太空旅行、人类的未来以及超级计算机哈尔的起义。哈尔为了确保自己的生存和完成最后的任务而要展开屠杀，这件事情真的很不可思议，而在这之前，如何将人工智能复制到机器中这个问题就已经让我深深着迷了。
鉴于此，高中毕业后我自然而然地打算投身这个领域进行具体研究。年，我进入了巴黎高等电子与电工技术工程师学院，就读该学院无须参加预科课程，可以在高中毕业后直接申请。我的实践经历证明，读预科并不是在科学之路上取得成功的唯一途径。而且，我在巴黎高等电子与电工技术工程师学院学习时拥有很多自主权，所以我肯定会好好珍惜利用！
卓有成效的阅读
在第一批让我感到欣喜的读物中，有一份是我在年读过的报告。这实际上是一份辩论总结，辩论是在瑟里西（Cerisy）会议上展开的，主题是人类语言机制到底是先天的还是后天的。[2]语言学家诺姆·乔姆斯基的观点是，大脑中生来就已经存在能够让人们学习说话的结构。而发展心理学家让·皮亚杰（JeanPiaget）则认为，一切都是通过后天学习获得的，包括大脑中学习说话的结构，语言学习是随着智能的逐步建构而分阶段完成的。因此，智力的获得是人与外界交流学习的结果。这个想法深深地吸引了我，我开始思考如何才能将其应用于机器学习中。也有其他一些顶尖的科学家参加了这场辩论，比如西摩尔·帕普特，他极力颂扬了感知器，认为它是能够学习复杂任务的简单机器。
我因此知道了感知器的存在，并迅速沉迷于这个课题。我利用每周三下午不上课的时间，在罗康库尔的Inria（法国国家信息与自动化研究所）的图书馆寻找专业图书来读。在法兰西岛大区，Inria掌握着最为丰厚的计算机研究经费。我在阅读过程中很快发现，西方科学界尚无人研究神经网络。同时我还惊奇地发现，有关感知器的研究就截止在西摩尔·帕普特所称颂的感知器上，此外没有进一步的发展。
系统理论（在20世纪50年代被称为控制论）是我的另一个研究爱好，它主要研究人工系统和天然生物系统。比如人类体温的调节系统：人体温度之所以能够维持在37℃左右，主要得益于一种恒温器，它可以调节人体温度与外界温度之间的差异。
我对“自组织”也有浓厚的兴趣。分子或相对简单的物体是如何本能地相互作用组成复杂结构的？智能是如何从大量相互作用的简单元素（神经元）中发展而来的？
我研究了柯尔莫哥洛夫、所罗门诺夫和柴廷（Chaitin）的算法复杂性理论中的数学部分。此外，我在前文中提到的理查德·杜达和彼得·哈特的书[3]就摆放在我的床头，同时我还订阅了《生物控制论》，这是一本涉及大脑运作原理和生命系统的计算机数学模型的期刊。
因此，所有因为“寒冬”而被忽视的人工智能问题都呈现在我面前。在思考这些问题时，我慢慢形成了自己的理念：以逻辑的方式无法建构真正的智能机器，我们必须赋予机器学习的能力，让它们能以经验为基础进行自我建构。
在阅读期间，我发现科学界不只我有这种想法，因此我也注意到了福岛邦彦的研究成果，并开始思考提高新认知中心神经网络效率的方法。对正式开展研究来说比较幸运的是，巴黎高等电子与电工技术工程师学院为学生提供了当时功能非常强大的计算机。我与学校里的朋友菲利普·梅曲（PhilippeMetsu）一起开始编写程序。他同样热爱人工智能，尤其对儿童的学习心理感兴趣。学校里的数学老师也愿意指导我们，我们一起尝试模拟神经网络。但实验十分费力：计算机进步缓慢，编写程序也着实令人头疼。
在学校的第四年，我由于更加沉迷于这项研究，开始设想一种用于训练多层神经网络的学习规则，可惜并没有真正得到数学层面的验证。我构想出一种可以在网络中实现从后向前传递信号的算法，用来实现端到端的训练，我将它命名为HLM算法（取自分层学习机的英文名称hierarchicallearningmachine，参见第五章相关内容）。命名这个算法的时候，我还玩了一个有趣的文字游戏（译者注：在法语中，HLM是低租金住房[habitationàloyermodéré]的缩写。）……在HLM的基础上发展而来的“梯度反向传播”算法如今已被广泛应用于训练深度学习系统。HLM与如今的反向传播梯度网络的不同之处在于，HLM传递的是每个神经元的期望状态。因此在当时计算机运算乘法的速度比较慢的情况下，可以使用二进制神经元。HLM算法是训练多层网络的第一步。
我的偶像
年夏，我从工程专业毕业时，从一本书上了解到一个对自组织系统和自动机网络感兴趣的小组：网络动力学实验室（LDR）。他们的办公地点位于巴黎圣纳维耶沃综合理工学院的旧址，小组成员都是法国人，他们来自各大高校。因为该小组不挂靠任何机构，所以几乎没有经费和预算，只有一台回收的计算机。从另一个角度说，法国在机器学习方面的研究当时正处于近乎停滞的状态。我拜访了他们。和我不一样，这些研究人员没有接触过有关神经网络的早期出版物，但他们熟悉其他作品。
我向他们表示，我对他们的研究课题感兴趣，而且我所在学院的设备有助于他们做进一步的研究。后来，我在皮埃尔和玛丽·居里大学继续研究生学习时，也加入了他们的小组。年，我准备攻读博士学位。虽然当时我有巴黎高等电子与电工技术工程师学院的研究奖学金，但还没有找到合适的论文指导老师。弗朗索瓦丝·福热尔曼-苏利耶（FranoiseFogelman-Soulié，后来更名为Soulié-Fogelman）与我共事了很长时间，她当时是巴黎第五大学的计算机科学副教授。从能力上来讲，她完全可以指导我，可惜，她还没有完成国家博士论文
（此资格是欧洲教育体系的特色），所以她没有取得指导博士论文的资格。
因此，我只能求助于实验室中唯一一位能够指导计算机博士论文的教授莫里斯·米尔格朗（MauriceMil-gram），他是贡比涅技术大学计算机和工程科学的教授。他同意成为我的导师，但同时表示他对神经网络一无所知，所以可能帮不上什么忙。我永远都不会忘记他对我的关照。那段时间，我将所有精力都用在了巴黎高等电子与电工技术工程师学院（和它强大的计算机）和LDR（和它的知识环境）中。
我身处一个完全未知的领域，这实在令人兴奋。在国外，也有一些课题跟我们接近的研究小组正在慢慢起步。年夏，我陪同弗朗索瓦丝·福热尔曼去了加利福尼亚，在带有传奇色彩的施乐帕克研究中心的实验室实习了一个月。
当时，我十分渴望见到两位大人物：一位是来自巴尔的摩约翰斯·霍普金斯大学的生物物理学家和神经生物学家特伦斯·谢诺夫斯基（《深度学习》作者），另一位是来自卡内基·梅隆大学的杰弗里·辛顿，后者与约书亚·本吉奥和我共同分享了年度的图灵奖。
辛顿和谢诺夫斯基于年发表了一篇有关玻尔兹曼机（BoltzmannMachines）的文章，并在其中描述了一个带有“隐藏单元”的神经网络的学习过程，这个隐藏单元是位于输入和输出之间的中间层的神经元。我之所以对这篇文章感兴趣，主要是因为他们提到了多层神经网络的训练，这可是我研究课题中的核心问题，他们是真正对我的研究有价值的人！
“你认识一个叫杨立昆的人吗？”
我职业生涯真正意义上的转折点出现在年2月，在阿尔卑斯山莱苏什举行的研讨会上。在那次会议上，我遇到了当时世界上对神经网络感兴趣的顶级专家，他们有物理学家、工程师、数学家、神经生物学家、心理学家，尤其是遇到了在科学界宛如神话一般的贝尔实验室里一个新成立的研究神经网络的小组成员。得益于在莱苏什的相识，三年后，我被该小组聘用。
这次研讨会是由我所在的法国研究小组LDR的成员组织的，他们是弗朗索瓦丝和她当时的丈夫热拉尔·韦斯布赫（GérardWeisbuch），后者时任巴黎高等师范学院的物理学教授，以及当时在法国国家科学研究中心（CNRS）任职的理论神经生物学家埃利·比嫩斯托克（lieBienenstock）。会议汇聚了许多对“自旋玻璃”感兴趣的物理学家，以及物理学和神经科学等领域的权威人士。约翰·霍普菲尔德那篇关于自旋玻璃和神经网络的开创性文章[4]，引得许多物理学家开始
