生成对抗网络GAN，正在成为新的“深度学习”
计算机视觉顶会cvpr 2018召开在即，从接收的论文看，这届会议展现出了怎样的趋势？你不要不信，生成对抗网络gan，正在成为新的“深度学习”。
又到了一年一度cvpr的时节。
当被接收的论文列表公布以后（点击这里查看所有论文列表），爱统计趋势的我们又有很多事情可以做了。
这一次，google research的研究科学家jordi pont-tuset做了一个统计，根据论文题目，看深度学习的发展趋势。结果，他发现生成对抗网络（gan）强势出击，大有取代“深度学习”（deep learning）之势。
下面这张图展示了cvpr 2018的论文题目中，关键词gan、deep，以及lstm的对比：
可以看出，普通的“深度学习”已经在走下坡路，而且趋势明显。jordi pont-tuset认为，这很可能是研究人员已经见惯不惯了。
与此同时，gan则大幅抬头，有8%的论文标题中含有gan（相比2017年增长了2倍多），已经不能说是少数，而是相当有分量的一个方向了。
此外，lstm也出现下滑，可能是越来越多人开始关注并使用attention的方法。
“深度学习”趋于饱和，gan强势飞升
gan的上升趋势并不是从cvpr 2018才开始的。下面这张图展示了从2013年到2017年cvpr期间，gan（以及lstm）在cvpr、iccv和eccv这三大计算机视觉顶会论文标题中出现的频次。统计者依然是jordi pont-tuset。
尽管占比的绝对值不高（在2017年时为2.5%），但可以发现gan从cvpr-16开始一飞冲天的趋势。
这种趋势在随后举行的iccv 2017上更加明显，gan在iccv-17上已经超越了lstm，并且占比达到了4%。
再来看“深度学习”，三大cv顶会的数据表明，历经2014年到2016年的火爆，从2017年开始，虽然还在增长（cvpr的稍微多一些），但都已趋于饱和。
gan是新的“深度学习”？
需要指出，这里统计的仅仅是三大计算机视觉会议接收论文的标题里的关键词。
就像jordi pont-tuset推测的那样，普通的“深度学习”可能已经为人熟知，如今在研究领域开始往更细的、更具体的方向发展，比如gan。
生成对抗网络（generative adversarial nets）在 ian goodfellow 等人2014年的论文《generative adversarial nets》中提出，是非监督学习的一种方法，通过让两个神经网络相互博弈的方式进行学习。
gan结构示意。来源：slinuxer
生成对抗网络由一个生成网络（generator）与一个判别网络（discriminator）组成。生成网络从潜在空间（latent space）中随机采样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。生成对抗网络常用于生成以假乱真的图片。此外，该方法还被用于生成视频、三维物体模型等。
现在，《generative adversarial nets》这篇论文的引用数量已经达到了3363次。
在一次quora问答直播中，yann lecun表示，生成对抗性网络是近十年来最有趣的想法，是人工智能最值得期待的算法之一。
去年在接受吴恩达的采访时，ian goodfellow曾经说，gan是生成模型的一种，实际上 gan 能做的事情，很多其他生成模型也能做，如果gan的训练能稳定下来，甚至像深度学习那么可靠，那么gan就能真正发展起来。如果不能，那么gan 将会被其他方法所取代。他有大约 40% 的时间都用在稳定 gan 上面。
至少从这届cvpr看，gan被取代的情况还完全不存在。
现在，有很多针对gan的研究，除了ian goodfellow所在的谷歌和他之前所在的openai，fair/nyu也是一大重镇。实际上，是fair/nyu最先把gan带进了我们的视野，提出了lapgan，那是gan第一次生成了逼真的高清图像，也是第一次得到媒体曝光。
另外一个重要阵营是伯克利+英伟达，他们专注超高清逼真图像和视频，无监督翻译，等等。伯克利的cyclegan，利用对偶学习并结合gan机制来优化生成图片的效果。英伟达则采取“渐进式生成”技术训练gan，让计算机可以生成1024*1024大小的高清图片，几乎可以以假乱真。
除了图像生成，gan的应用也已经拓展到了nlp和robot learning。
ian goodfellow在去年一次问答中表示，gan是使用强化学习来解决生成建模问题的一种方式。“gan的不同之处在于，奖励函数对行为是完全已知和可微分的，奖励是非固定的，以及奖励是agent的策略的一个函数。”goodfellow说：“我认为gan基本上可以说就是强化学习。”
如何制作一台示波器
任意波形发生器M8194A介绍
Coatmaster Flex涂魔师现场验证测试案例简析
聊天机器人为什么需要学习机器学习？
精量播种机控制器、精量播种机电控系统、农机电控系统方案
生成对抗网络GAN，正在成为新的“深度学习”
印刷电路板的图形电镀是怎样的
ADC的工作原理
荣耀8X评测 千元档位的高性价比手机
使用LinkIt ONE实现空气质量监测系统的设计
如何实现钢厂低压管网数据无线汇总与管控功能？
目前5G发展中存在的问题和解决方法
详解全电动和半电动车用充电连接器的升级标准
液位控制仪表系统故障分析
智能交通系统将会成为未来交通系统的发展方向
提高锂离子传导率 大众研发新电池
定制工业平板电脑在工业领域中的应用是怎样的
PCB拼板，那几条很讲究的规则！
深开鸿CEO王成录新春致辞：从开源鸿蒙走向万物智联
打造企业上云安全屏障，华为云擎天Enclave全方位守护敏感数据安全
又到了一年一度cvpr的时节。
当被接收的论文列表公布以后（点击这里查看所有论文列表），爱统计趋势的我们又有很多事情可以做了。
这一次，google research的研究科学家jordi pont-tuset做了一个统计，根据论文题目，看深度学习的发展趋势。结果，他发现生成对抗网络（gan）强势出击，大有取代“深度学习”（deep learning）之势。
下面这张图展示了cvpr 2018的论文题目中，关键词gan、deep，以及lstm的对比：
可以看出，普通的“深度学习”已经在走下坡路，而且趋势明显。jordi pont-tuset认为，这很可能是研究人员已经见惯不惯了。
与此同时，gan则大幅抬头，有8%的论文标题中含有gan（相比2017年增长了2倍多），已经不能说是少数，而是相当有分量的一个方向了。
此外，lstm也出现下滑，可能是越来越多人开始关注并使用attention的方法。
“深度学习”趋于饱和，gan强势飞升
gan的上升趋势并不是从cvpr 2018才开始的。下面这张图展示了从2013年到2017年cvpr期间，gan（以及lstm）在cvpr、iccv和eccv这三大计算机视觉顶会论文标题中出现的频次。统计者依然是jordi pont-tuset。
尽管占比的绝对值不高（在2017年时为2.5%），但可以发现gan从cvpr-16开始一飞冲天的趋势。
这种趋势在随后举行的iccv 2017上更加明显，gan在iccv-17上已经超越了lstm，并且占比达到了4%。
再来看“深度学习”，三大cv顶会的数据表明，历经2014年到2016年的火爆，从2017年开始，虽然还在增长（cvpr的稍微多一些），但都已趋于饱和。
gan是新的“深度学习”？
需要指出，这里统计的仅仅是三大计算机视觉会议接收论文的标题里的关键词。
就像jordi pont-tuset推测的那样，普通的“深度学习”可能已经为人熟知，如今在研究领域开始往更细的、更具体的方向发展，比如gan。
生成对抗网络（generative adversarial nets）在 ian goodfellow 等人2014年的论文《generative adversarial nets》中提出，是非监督学习的一种方法，通过让两个神经网络相互博弈的方式进行学习。
gan结构示意。来源：slinuxer
生成对抗网络由一个生成网络（generator）与一个判别网络（discriminator）组成。生成网络从潜在空间（latent space）中随机采样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。生成对抗网络常用于生成以假乱真的图片。此外，该方法还被用于生成视频、三维物体模型等。
现在，《generative adversarial nets》这篇论文的引用数量已经达到了3363次。
在一次quora问答直播中，yann lecun表示，生成对抗性网络是近十年来最有趣的想法，是人工智能最值得期待的算法之一。
去年在接受吴恩达的采访时，ian goodfellow曾经说，gan是生成模型的一种，实际上 gan 能做的事情，很多其他生成模型也能做，如果gan的训练能稳定下来，甚至像深度学习那么可靠，那么gan就能真正发展起来。如果不能，那么gan 将会被其他方法所取代。他有大约 40% 的时间都用在稳定 gan 上面。
至少从这届cvpr看，gan被取代的情况还完全不存在。
现在，有很多针对gan的研究，除了ian goodfellow所在的谷歌和他之前所在的openai，fair/nyu也是一大重镇。实际上，是fair/nyu最先把gan带进了我们的视野，提出了lapgan，那是gan第一次生成了逼真的高清图像，也是第一次得到媒体曝光。
另外一个重要阵营是伯克利+英伟达，他们专注超高清逼真图像和视频，无监督翻译，等等。伯克利的cyclegan，利用对偶学习并结合gan机制来优化生成图片的效果。英伟达则采取“渐进式生成”技术训练gan，让计算机可以生成1024*1024大小的高清图片，几乎可以以假乱真。
除了图像生成，gan的应用也已经拓展到了nlp和robot learning。
ian goodfellow在去年一次问答中表示，gan是使用强化学习来解决生成建模问题的一种方式。“gan的不同之处在于，奖励函数对行为是完全已知和可微分的，奖励是非固定的，以及奖励是agent的策略的一个函数。”goodfellow说：“我认为gan基本上可以说就是强化学习。”
如何制作一台示波器
任意波形发生器M8194A介绍
Coatmaster Flex涂魔师现场验证测试案例简析
聊天机器人为什么需要学习机器学习？
精量播种机控制器、精量播种机电控系统、农机电控系统方案
生成对抗网络GAN，正在成为新的“深度学习”
印刷电路板的图形电镀是怎样的
ADC的工作原理
荣耀8X评测 千元档位的高性价比手机
使用LinkIt ONE实现空气质量监测系统的设计
如何实现钢厂低压管网数据无线汇总与管控功能？
目前5G发展中存在的问题和解决方法
详解全电动和半电动车用充电连接器的升级标准
液位控制仪表系统故障分析
智能交通系统将会成为未来交通系统的发展方向
提高锂离子传导率 大众研发新电池
定制工业平板电脑在工业领域中的应用是怎样的
PCB拼板，那几条很讲究的规则！
深开鸿CEO王成录新春致辞：从开源鸿蒙走向万物智联
打造企业上云安全屏障，华为云擎天Enclave全方位守护敏感数据安全