机器学习、神经网络和深度学习为何能独领风骚?
有“计算机界诺贝尔奖”之称的 acm am图灵奖（acm a.m. turing award）近日公布 2018 年获奖者，由引起这次人工智能革命的三位深度学习之父——蒙特利尔大学教授 yoshua bengio、多伦多大学名誉教授 geoffrey hinton、纽约大学教授 yann lecun 获得，他们使深度神经网络成为计算的关键。
据官方公告介绍，因三位巨头在深度神经网络概念和工程上的突破，使得 dnn 成为计算的一个重要构成，从而成为 2018 年图灵奖得主。
acm这样介绍他们三人的成就：
hinton、lecun和bengio三人为深度神经网络这一领域建立起了概念基础，通过实验揭示了神奇的现象，还贡献了足以展示深度神经网络实际进步的工程进展。
这是图灵奖十年来第三次颁给机器学习领域的杰出贡献者了：2011 年图灵奖得主为 judea pearl，他开发的概率与因果推理微积分（calculus for probabilistic and causal reasoning）为人工智能发展做出了重大贡献。leslie gabriel valiant 获得了 2010 年图灵奖，他为计算理论的发展作出了变革性贡献，包括 pac 学习理论、并行与分布计算理论等。
https://amturing.acm.org/byyear.cfm
其实，现代神经网络、机器学习等ai技术背后的思想，可以追溯到第二次世界大战行将结束之际。彼时，学者们开始构建计算系统，旨在以类似于人类大脑的方式存储和处理信息。
而深度神经网络早在1980年代就已经提出，但很快遭受质疑。专注于这种方法的学者，是ai界的少数派，lecun、hinton和bengio就在其中。
三十多年前，是他们一生的至暗时刻。
然而，这一小撮“顽固分子”始终坚持自己的信念，他们不怕被视作蠢货，一直相信神经网络会照亮这个世界，并改变整个人类的命运。
最终他们的信念，也改变了自己的命运。
geoffrey hinton
geoffrey hinton，1947年生，现年72岁，谷歌的副总裁和工程师，也是ai研究机构vector institute的首席科学顾问和多伦多大学的名誉教授。
在acm颁奖辞博文中，主要提到了hinton的三个贡献，如果你做过ai项目，肯定不会陌生，它们分别是：
反向传播（backpropagation）：
1986年，在learning internal representations by error propagation这篇论文里，hinton证明了，反向传播能让神经网络发现自己内部的数据表征，这样便可以处理以往无法解决的问题。
如今，反向传播已经是神经网络的标准操作，hinton也有了“反向传播之父”的名号。
玻尔兹曼机（boltzmann machines）：
1983年，hinton和同伴一起发明了玻尔兹曼机，那是最早能够学习神经元内部表征的网络之一：那些表征既不来自输入，也不来自输出。
改进卷积神经网络：
2012年，hinton和学生们一起，利用线性整流神经元（rectified linear neurons）和dropout 正则化改进了卷积神经网络。
在imagenet比赛上，他们几乎把物体识别的错误率降到了从前的一半，让计算机视觉领域焕然一新。
在获得图灵奖之前，hinton就已经获得了大量的荣誉，手握加拿大最高荣誉勋章（companion of the order of canada），是顶级认知科学奖鲁梅哈特奖的首位获奖者，也获得了人工智能国际联合会（ijcai）杰出学者奖终生成就奖等等。
此外，他也是英国皇家学会成员、美国工程院外籍院士。
一个有趣的轶事是，hinton的高祖父是大名鼎鼎的乔治·布尔——布尔逻辑的创立者，因“布尔检索“而闻名于世。
而即将出场的人，曾经在hinton的实验室里做过博士后。
yann lecun
yann lecun，1960年生，58岁，现在是facebook首席ai科学家。卷积神经网络 (cnn) 之父，是他最为人熟知的名号。
acm列举的成就，也是从这里开始。
卷积神经网络 (cnn) ：
1989年，在at&t贝尔实验室工作的lecun，以反向传播为基础，发表了一项研究，叫做“将反向传播用到手写邮编的识别上”。cnn的第一次实现，就是在这里诞生。
如今，cnn已经成为深度学习的基础技术了，不止在计算机视觉领域，在语音合成、语音识别这些应用中，也是行业标准操作。
反向传播雏形：
1985年，hinton还没有成为反向传播之父的时候，lecun在巴黎六大读博期间，发表过反向传播的一个早期版本，根据变分原理给出了一个简单的推导过程。
他用两种加速学习的方法，让反向传播变得更快了。
拓展了神经网络的视野：
lecun不止把神经网络用在图像识别上，还解锁了许多其他任务。他提出的一些概念，如今已经成了ai领域的基础。
比如，在图像识别上，他研究了神经网络怎样学习分层特征表示 (hierarchical feature representation) ，这也成为了如今许多识别任务中常用的概念。
另外，他和同伴léon bottou一起提出，学习系统可以由复杂的神经网络构成。在这样的系统里，反向传播是靠自动微分来实现。他们还提出，深度学习架构可以对结构化数据 (比如图形) ，进行处理。
lecun博士毕业后，只在hinton的实验室做了一年博士后，就进入了工业界。
不过，他在2003年成为了纽约大学的教授，还在2012年创办了纽大数据科学中心。即便加入facebook之后，也继续在纽大兼职。
而下一位巨头，也和lecun一样，横跨学界和产业界。并且，他也在赫赫有名的贝尔实验室工作过。
yoshua bengio
yoshua bengio，1964年生，55岁，现在是蒙特利尔大学计算机科学与运筹学系教授。
bengio创建了蒙特利尔学习算法研究所（mila），担任研究所的科学主任，主持加拿大高等研究院（cifar）机器与大脑学习项目的研究。同时，bengio也担任着数据评估研究所（ivado）的科学联合主任。
同样，acm也总结了bengio的三个主要贡献。
序列的概率模型：
上世纪90年代，bengio提出了序列的概率模型。他把神经网络和概率模型（例如隐马尔可夫模型）相结合，用新技术识别手写的支票。外界认为，这是20世纪90年代神经网络的巅峰之作，当下语音识别技术就是在它的基础上扩展的。
高维词汇嵌入和注意机制：
bengio参与发表了一篇里程碑式的论文，a neural probabilistic language model（神经概率语言模型），把高维词嵌入 (high-dimentional word embeddings) 作为词义的表征。这对nlp研究（如翻译、问答和视觉问答等任务）产生了深远的影响。
生成对抗网络（gan）：
2014年，bengio与ian goodfellow一同发表的生成对抗网络 (gan) ，引发了计算机视觉和图形学的革命。
据统计，yoshua bengio发表的300多篇学术文章的累计引用次数已经超过137000次。
作为教授，bengio曾经和ian goodfellow、aaron courville等业界大神一起写出了deep learning，成为人手一本的“ai圣经”，不少人将这本书亲切称之为“花书”。
除了学术界，bengio也活跃在产业界。
曾经，bengio联合jean-françois gagné创立了element ai，为那些想给自家业务寻找机器学习解决方案的公司，找到ai领域的专家。
除此之外，bengio也有许多荣誉在身。他不仅成为了加拿大皇家学院（rsc）及加拿大高等研究院（cifar）的院士，还在2017年获得了代表加拿大公民最高荣誉的“加拿大总督功勋奖”。
机器学习、神经网络和深度学习为何能独领风骚？在传统计算中，计算机程序使用明确、逐步的指令来指导计算机，但在深度学习中，计算机并没有明确被告知该如何解决特定任务，如对象分类。相反地，它使用学习算法来提取数据中的模式（pattern），涉及数据的输入，例如图像的像素、标注、到输出。研究人员面临的挑战是开发有效的学习算法，能够修改人工神经网络中连接的权重，所以可抓取数据中的相关模式。
geoffrey hinton 从 80 年代早期就致力在 ai 领域倡导机器学习方法，研究人类大脑如何发挥作用，应将其应用在机器学习系统的开发。受到大脑的启发，他和其他人提出“人工神经网络”作为机器学习研究的基石。
在计算机科学中，“神经网络”是指由在计算机模拟“神经元”的一层一层组成的系统。这些“神经元”与人类大脑中的神经元相似，通过加权连接相互影响，并通过改变连接上的权重，可以改变神经网络执行的计算，三位大牛提出使用多层构建深层网络的重要性，因此也称为“深度学习”。
三位大牛 30 年努力所奠定的概念基础和工程进步，受惠于 gpu、计算机的普及以及对大量数据集而取得显著进展，yann lecun 在 geoffrey hinton 的指导下进行博士后工作，yann lecun 和 yoshua bengio 在 90 年代初都任职于贝尔实验室，尽管没有一起工作，他们的研究也激起了相互影响。
他们三人持续探索机器学习与神经科学和认知科学的交叉，特别是他们共同参与 cifar 的机器和大脑学习计划。
这一次 acm 选择深度学习理论，在深度学习领域又选择了这三位先驱，其实有更深层的意义。因为，在深度学习和神经网络领域具有突出贡献的绝不止这三位学者，而他们并称为三巨头的原因，也并不只是因为他们投入研究的时间长达40年，更是因为他们始终保有对神经网络的兴趣，在他们的名字广为世人所知的几十年时间里，他们甘于用掉人生大部份的时间坐冷板凳做研究，才推动了神经网络走向复兴。
可穿戴医疗设备会改变人类的生活方式吗
极海高性能电机控制MCU新品及应用
电容器耐压测试的两种方法
FSK/ASK/FM接收电路
2014年CES展会大厂云集 64位处理器齐亮相
机器学习、神经网络和深度学习为何能独领风骚?
英特尔CEO：人工智能将引发十年热潮 美国将保持领先
减速机空载电流大是什么原因？
企业利用云MES系统如何实现“弯道超车”
GPS 定位器产品内置芯片，并可以对外通信？
功率测试测量方案大全
vocs在线监测系统在涂装行业中的应用
气密性检测仪使用方法及操作步骤的介绍
你家厨房用了物联网技术吗
安达发|APS项目对企业有哪些要求？
rs232c是什么，rs232c详解
诺基亚9什么时候上市？诺基亚9最新消息：高配版诺基亚9曝光：骁龙835+8G内存
真正技术范儿！松路智能机芯 Acura2发布
【新专利介绍】一种矿用双针压力表
5G网络为什么要降低信号损耗？
据官方公告介绍，因三位巨头在深度神经网络概念和工程上的突破，使得 dnn 成为计算的一个重要构成，从而成为 2018 年图灵奖得主。
acm这样介绍他们三人的成就：
hinton、lecun和bengio三人为深度神经网络这一领域建立起了概念基础，通过实验揭示了神奇的现象，还贡献了足以展示深度神经网络实际进步的工程进展。
这是图灵奖十年来第三次颁给机器学习领域的杰出贡献者了：2011 年图灵奖得主为 judea pearl，他开发的概率与因果推理微积分（calculus for probabilistic and causal reasoning）为人工智能发展做出了重大贡献。leslie gabriel valiant 获得了 2010 年图灵奖，他为计算理论的发展作出了变革性贡献，包括 pac 学习理论、并行与分布计算理论等。
https://amturing.acm.org/byyear.cfm
其实，现代神经网络、机器学习等ai技术背后的思想，可以追溯到第二次世界大战行将结束之际。彼时，学者们开始构建计算系统，旨在以类似于人类大脑的方式存储和处理信息。
而深度神经网络早在1980年代就已经提出，但很快遭受质疑。专注于这种方法的学者，是ai界的少数派，lecun、hinton和bengio就在其中。
三十多年前，是他们一生的至暗时刻。
然而，这一小撮“顽固分子”始终坚持自己的信念，他们不怕被视作蠢货，一直相信神经网络会照亮这个世界，并改变整个人类的命运。
最终他们的信念，也改变了自己的命运。
geoffrey hinton
geoffrey hinton，1947年生，现年72岁，谷歌的副总裁和工程师，也是ai研究机构vector institute的首席科学顾问和多伦多大学的名誉教授。
在acm颁奖辞博文中，主要提到了hinton的三个贡献，如果你做过ai项目，肯定不会陌生，它们分别是：
反向传播（backpropagation）：
1986年，在learning internal representations by error propagation这篇论文里，hinton证明了，反向传播能让神经网络发现自己内部的数据表征，这样便可以处理以往无法解决的问题。
如今，反向传播已经是神经网络的标准操作，hinton也有了“反向传播之父”的名号。
玻尔兹曼机（boltzmann machines）：
1983年，hinton和同伴一起发明了玻尔兹曼机，那是最早能够学习神经元内部表征的网络之一：那些表征既不来自输入，也不来自输出。
改进卷积神经网络：
2012年，hinton和学生们一起，利用线性整流神经元（rectified linear neurons）和dropout 正则化改进了卷积神经网络。
在imagenet比赛上，他们几乎把物体识别的错误率降到了从前的一半，让计算机视觉领域焕然一新。
在获得图灵奖之前，hinton就已经获得了大量的荣誉，手握加拿大最高荣誉勋章（companion of the order of canada），是顶级认知科学奖鲁梅哈特奖的首位获奖者，也获得了人工智能国际联合会（ijcai）杰出学者奖终生成就奖等等。
此外，他也是英国皇家学会成员、美国工程院外籍院士。
一个有趣的轶事是，hinton的高祖父是大名鼎鼎的乔治·布尔——布尔逻辑的创立者，因“布尔检索“而闻名于世。
而即将出场的人，曾经在hinton的实验室里做过博士后。
yann lecun
yann lecun，1960年生，58岁，现在是facebook首席ai科学家。卷积神经网络 (cnn) 之父，是他最为人熟知的名号。
acm列举的成就，也是从这里开始。
卷积神经网络 (cnn) ：
1989年，在at&t贝尔实验室工作的lecun，以反向传播为基础，发表了一项研究，叫做“将反向传播用到手写邮编的识别上”。cnn的第一次实现，就是在这里诞生。
如今，cnn已经成为深度学习的基础技术了，不止在计算机视觉领域，在语音合成、语音识别这些应用中，也是行业标准操作。
反向传播雏形：
1985年，hinton还没有成为反向传播之父的时候，lecun在巴黎六大读博期间，发表过反向传播的一个早期版本，根据变分原理给出了一个简单的推导过程。
他用两种加速学习的方法，让反向传播变得更快了。
拓展了神经网络的视野：
lecun不止把神经网络用在图像识别上，还解锁了许多其他任务。他提出的一些概念，如今已经成了ai领域的基础。
比如，在图像识别上，他研究了神经网络怎样学习分层特征表示 (hierarchical feature representation) ，这也成为了如今许多识别任务中常用的概念。
另外，他和同伴léon bottou一起提出，学习系统可以由复杂的神经网络构成。在这样的系统里，反向传播是靠自动微分来实现。他们还提出，深度学习架构可以对结构化数据 (比如图形) ，进行处理。
lecun博士毕业后，只在hinton的实验室做了一年博士后，就进入了工业界。
不过，他在2003年成为了纽约大学的教授，还在2012年创办了纽大数据科学中心。即便加入facebook之后，也继续在纽大兼职。
而下一位巨头，也和lecun一样，横跨学界和产业界。并且，他也在赫赫有名的贝尔实验室工作过。
yoshua bengio
yoshua bengio，1964年生，55岁，现在是蒙特利尔大学计算机科学与运筹学系教授。
bengio创建了蒙特利尔学习算法研究所（mila），担任研究所的科学主任，主持加拿大高等研究院（cifar）机器与大脑学习项目的研究。同时，bengio也担任着数据评估研究所（ivado）的科学联合主任。
同样，acm也总结了bengio的三个主要贡献。
序列的概率模型：
上世纪90年代，bengio提出了序列的概率模型。他把神经网络和概率模型（例如隐马尔可夫模型）相结合，用新技术识别手写的支票。外界认为，这是20世纪90年代神经网络的巅峰之作，当下语音识别技术就是在它的基础上扩展的。
高维词汇嵌入和注意机制：
bengio参与发表了一篇里程碑式的论文，a neural probabilistic language model（神经概率语言模型），把高维词嵌入 (high-dimentional word embeddings) 作为词义的表征。这对nlp研究（如翻译、问答和视觉问答等任务）产生了深远的影响。
生成对抗网络（gan）：
2014年，bengio与ian goodfellow一同发表的生成对抗网络 (gan) ，引发了计算机视觉和图形学的革命。
据统计，yoshua bengio发表的300多篇学术文章的累计引用次数已经超过137000次。
作为教授，bengio曾经和ian goodfellow、aaron courville等业界大神一起写出了deep learning，成为人手一本的“ai圣经”，不少人将这本书亲切称之为“花书”。
除了学术界，bengio也活跃在产业界。
曾经，bengio联合jean-françois gagné创立了element ai，为那些想给自家业务寻找机器学习解决方案的公司，找到ai领域的专家。
除此之外，bengio也有许多荣誉在身。他不仅成为了加拿大皇家学院（rsc）及加拿大高等研究院（cifar）的院士，还在2017年获得了代表加拿大公民最高荣誉的“加拿大总督功勋奖”。
机器学习、神经网络和深度学习为何能独领风骚？在传统计算中，计算机程序使用明确、逐步的指令来指导计算机，但在深度学习中，计算机并没有明确被告知该如何解决特定任务，如对象分类。相反地，它使用学习算法来提取数据中的模式（pattern），涉及数据的输入，例如图像的像素、标注、到输出。研究人员面临的挑战是开发有效的学习算法，能够修改人工神经网络中连接的权重，所以可抓取数据中的相关模式。
geoffrey hinton 从 80 年代早期就致力在 ai 领域倡导机器学习方法，研究人类大脑如何发挥作用，应将其应用在机器学习系统的开发。受到大脑的启发，他和其他人提出“人工神经网络”作为机器学习研究的基石。
在计算机科学中，“神经网络”是指由在计算机模拟“神经元”的一层一层组成的系统。这些“神经元”与人类大脑中的神经元相似，通过加权连接相互影响，并通过改变连接上的权重，可以改变神经网络执行的计算，三位大牛提出使用多层构建深层网络的重要性，因此也称为“深度学习”。
三位大牛 30 年努力所奠定的概念基础和工程进步，受惠于 gpu、计算机的普及以及对大量数据集而取得显著进展，yann lecun 在 geoffrey hinton 的指导下进行博士后工作，yann lecun 和 yoshua bengio 在 90 年代初都任职于贝尔实验室，尽管没有一起工作，他们的研究也激起了相互影响。
他们三人持续探索机器学习与神经科学和认知科学的交叉，特别是他们共同参与 cifar 的机器和大脑学习计划。
这一次 acm 选择深度学习理论，在深度学习领域又选择了这三位先驱，其实有更深层的意义。因为，在深度学习和神经网络领域具有突出贡献的绝不止这三位学者，而他们并称为三巨头的原因，也并不只是因为他们投入研究的时间长达40年，更是因为他们始终保有对神经网络的兴趣，在他们的名字广为世人所知的几十年时间里，他们甘于用掉人生大部份的时间坐冷板凳做研究，才推动了神经网络走向复兴。
可穿戴医疗设备会改变人类的生活方式吗
极海高性能电机控制MCU新品及应用
电容器耐压测试的两种方法
FSK/ASK/FM接收电路
2014年CES展会大厂云集 64位处理器齐亮相
机器学习、神经网络和深度学习为何能独领风骚?
英特尔CEO：人工智能将引发十年热潮 美国将保持领先
减速机空载电流大是什么原因？
企业利用云MES系统如何实现“弯道超车”
GPS 定位器产品内置芯片，并可以对外通信？
功率测试测量方案大全
vocs在线监测系统在涂装行业中的应用
气密性检测仪使用方法及操作步骤的介绍
你家厨房用了物联网技术吗
安达发|APS项目对企业有哪些要求？
rs232c是什么，rs232c详解
诺基亚9什么时候上市？诺基亚9最新消息：高配版诺基亚9曝光：骁龙835+8G内存
真正技术范儿！松路智能机芯 Acura2发布
【新专利介绍】一种矿用双针压力表
5G网络为什么要降低信号损耗？