全球深度学习两大巨头发起，科技圈争相砸钱，ICLR牛在哪？

本文来源 | 智东西

　　作者 | Lina

为期三天的ICLR国际学习表征会议（International Conference on Learning Representations）今天在法国土伦落下了帷幕。

可别小看ICLR这个名字拗口的大会，它可是由深度学习三巨头之二——Yann LeCun和Yoshua Bengio共同组织举办的，ICLR虽然只举办了5年，但随着深度学习的日渐火热，这一声名鹊起的学术大会已然成为深度学习领域最重要的会议之一。

这三天里，来自世界各地的机器学习专家大牛集聚一堂，探讨有关表征学习、深度学习等最技术中最为前沿的发展。其研究主旨大概可以总结为一句：如何让算法的应用更广、消耗更少、开源节流。这些技术应用的领域范围也非常广泛，视觉、语音、文字理解、游戏、音乐等等，不一而足。（大会的21个演讲见文内表格）

本文将介绍ICLR的3篇最佳论文、6位学术大牛、21个主题演讲、以及业内人士对于这个会议态度不一的看法。

一、ICLR的前世今生

左Yoshua Bengio，右Yann LeCun

从1999年以来，Yann LeCun和Yoshua Bengio这两位大牛就一同组织过不少学术研讨会，第一届ICLR在2013年美国亚利桑州斯科茨代尔市举办，共有28篇论文入选，今年这一数字飙升到了648篇（490篇Conforence Track公开论文，以及158篇Workshop Track研讨会论文）

主办人之一Yann LeCun是现任Facebook人工智能研究院的院长，兼任美国纽约大学教授，同时还是深度学习重要分支——卷积神经网络（CNN, Convolutional Neural Nets）的发明人之一；此前曾来北京清华大学做过一次《深度学习与AI未来》的主题演讲。

至于Yoshua Bengio则是加拿大蒙特利尔大学的全职教授，同时也是蒙特利尔学习算法研究所（MILA）的负责人；Google去年年底宣布在蒙特利尔设立一个深度学习和人工智能研究部门，并为包括Yoshua Bengio在内的蒙特利尔学习算法学院8为学究提供了337万美元的研究资金。

二、3篇最佳论文

人声鼎沸的大会现场

大会其中三篇最佳论文在开幕前就由ICLR组委会评选而出。大会举行的三天当中，每天都有一篇最佳论文的演讲。这三篇论文的主题分别为：简化神经编程算法架构、保护训练数据隐私、以及一篇最具争议性的——主题为实际谈论模型复杂性的论文。

这三篇最佳论文分别为：

1、《了解深度学习需要重新思考泛化 (Understanding deep learning requires rethinking generalization)》

本文来自美国麻省理工大学、谷歌、以及加州伯克利大学，第一署名作者为麻省理工大学的Chiyuan Zhang。

概要：基于同样大数据样本的不同算法也能获得相似结论，一个具有足够规模参数的简单浅层网络能够产生完美的有限样本表达性。文章引入非结构化的噪音数据进行测试，证实了图像识别算法模型的可靠性。

2、《基于隐私数据训练的半监督式知识转化深度学习算法 (Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data)》

本文来自宾夕法尼亚州立大学、谷歌、以及OpenAI，第一署名作者为宾夕法尼亚州立大学的Nicolas Papernot。

概要：由于一些机器学习应用（如临床医疗病例）的的训练涉及到敏感数据，而模型可能会无意中泄露用户隐私，文章引入噪音数据和黑盒算法，实现对隐私数据的保护。

3、《通过递归法使神经编程架构更为广泛化 (Making Neural Programming Architectures Generalize via Recursion)》

本文来自加州大学伯克利分校，联合署名作者为：Jonathon Cai, Richard Shin, Dawn Song。

概要：由于通过数据学习的神经网络比较杂乱，本文提出了一种应用于神经网络解译程式的递归算法，包括四项任务：基础运算、冒泡算法、拓扑类、快速排序，将任务细分化，增强数据训练的准确性。

值得一提的是第一篇《了解深度学习需要重新思考泛化》论文，文章一经评选，立刻引发一阵激烈讨论。有人认为这篇论文做了一项十分具有颠覆性的工作，将会启发未来数年里有关深度学习的研究；也有人认为这篇论文被高估了，其中指出泛化对随机标签是个糟糕的问题这个观点“没有什么意思”；不过，大多人也有不少人与智东西持一样的态度，有争议、能够引发大家讨论的文章，才是有意思的文章，毕竟深度学习还是一门发展中的科学，好与坏本身都太主观。

除了三篇最佳论文外，ICLR还别出心裁地设立了最佳评论奖，选出了15位对论文内容的评论及后续讨论最有价值的留言者，每位给予100美元的鼓励。

三、6位主讲大牛与21个演讲

如上文提到的，从大会的整体趋势而言，研究主旨大概可以总结为一句：如何让算法的应用更广、消耗更少、开源节流。而细分到具体论文主题则包括：寻找广义算法、解决大数据处理/图像信息处理的问题、引入数学/统计学优化算法提高效率和容错性/鲁棒性、多任务合作等。

大会邀请了15位论文发布者进行演讲展示，其中就包括了三篇最佳论文。此外还有6位相关领域的大牛进行特邀嘉宾演讲，六位演讲嘉宾包括：

　　1）Eero Simoncelli，美国纽约大学白银教授（Yann LeCun在纽约大学也是这个称号，Silver Professor），IEEE 国际电子技术与信息科学工程师协会会员。

　　2）Benjamin Recht，美国加州伯克利大学电子工程和计算机科学学院。

　　3）Chloé-Agathe Azencott，法国巴黎高等矿业学院计算生物学系，法国巴黎居里研究所及法国国家科研中心研究员。

　　4）Riccardo Zecchina，意大利博科尼大学理论物理学系，都灵人类基因基金会项目负责人。

　　5）Regina Barzilay，美国麻省理工大学电气工程及计算机科学系，微软研究员，麻省理工大学自然语言处理研究小组成员。

转载请注明出处。