机器之心报道

参与：吴攀、李亚洲、蒋思源

当地时间 2017 年 4 月 24-26 日，第五届 ICLR 会议将在法国土伦举行。作为深度学习领域的盛会之一，ICLR 2017 有许多精彩的内容值得我们关注。在这篇文章中，机器之心梳理了 ICLR 2017 提交论文的特点、本届会议的最佳论文以及机器之心过去一段时间报道过的有关 ICLR 2017 的文章。此外，去不了大会现场的读者也不必感到遗憾，因为有以下大会 Oral Session 的直播。

直播地址：https://www.facebook.com/iclr.cc

ICLR 全称为「International Conference on Learning Representations（国际学习表征会议）」。2013 年，深度学习巨头 Yoshua Bengio、Yann LeCun 主持举办了第一届 ICLR 大会。经过几年的发展，在深度学习火热的今天，ICLR 已经成为人工智能领域不可错过的盛会之一。

机器学习方法的表现极大地依靠所应用的数据表征的选择，表征学习领域的快速发展涉及到我们如何能够最好的学习数据中有意义、有作用的表征。ICLR 会议的关注点就包括深度学习、特征学习、度量学习、组合建模、结构化预测、强化学习等领域与主题，以及大规模学习、非凸优化问题。而这些技术应用的领域也非常广泛，从视觉到语音识别，到文本理解、游戏、音乐等各个领域。

下面列出了 ICLR 会议涉及的相关主题：

无监督、半监督、监督式表征学习

进行规划的表征学习，强化学习

度量学习和核学习

稀疏编码和维度扩展

层级模型

表征学习的优化

学习输出或状态的表征

实现问题、并行、软件平台、硬件

在视觉、音频、语音、自然语言处理、机器人、神经科学或任何其它领域的应用

数个小时之后，ICLR 2017 即将在法国开幕。但在此之前，我们为你整理了以下内容，希望能为你参与此次大会（现场或看直播）提供帮助。

提交论文的可视化

在大会开始之前，我们觉得有必要了解下此届 ICLR 大会所提交的论文的特点。不久之前，Carlos E. Perez 使用 OpenReview 上的公开数据，对 ICRL 2017 上提交的论文进行了可视化分析，这能帮助我们了解此次大会的一些概况，比如哪些论文文献得到的评价好、作者以及引用量的分布。（注：文中作者使用 Java 进行的可视化动态展示，此文不便于展示，感兴趣的读者可在这里查看：http://prlz77.github.io/iclr2017-stats）

首先，他使用 GloVe 算法对论文摘要词语进行了可视化，词语用 t-SNE 技术做了降维：

　　

正如所料，网络、架构、数据、学习……是最常见的词。除此以外，回馈值（award）、注意（attention）和对抗（adversarial）也出现在重要词语的列表中，接下来是当前热门模型，深度强化学习、记忆/注意模型和生成对抗网络（GAN）模型。

除了论文中的关键词，哪家机构发论文最多？下图是使用提交论文中的所属机构（affiliation）字段，绘制出的每个机构提交数量的直方图：

　　

可以看出，前 50 名最高产的机构中，谷歌一马当先，下面依次是蒙特利尔大学、伯克利大学和微软。有趣的是，排名靠前的有很多新公司，特别是像 OpenAI 这样的新公司也能超过其它业已成熟的机构。

数量并不总是意味着质量，按照平均文献评价得分排序，该分析画出了以下论文数量气泡图（大小表示数量）。

　　

可以看到，谷歌有 9 篇论文的平均得分达到 7.5 以上，最大的一个气泡（论文数最多）包含了平均分为 6 的 13 篇论文。谷歌的论文包括 DeepMind、谷歌大脑和谷歌研究的论文。

考虑到 ICLR 2016 的接收率接近 30％，Perez 对每个分数值制作直方图，以显示接收阈值：

　　

最后，看一下有什么有趣的论文。在这里，使用散点图进行了表示，其中 y 轴表示论文的回复数量（作为「兴趣度」的度量），x 轴表示平均评论者置信度（reviewer confidence），气泡的大小和颜色反映论文的平均分数：

　　

给定前面的三个参数，我们可以找到一些有趣的论文，如用于机器理解（Machine Comprehension）的双向注意力流（Bidirectional Attention Flow）、使用强化学习的神经架构搜索（Neural Architecture Search）以及离散变量自动编码器（Discrete Variational Autoencoders）。气泡可点击交互，链接到相应的 OpenReview 页面，Perez 还添加了一些随机抖动，以便在放大时它们能相互分开。

此外，Perez 还做了排名前 10 位的论文的可视化，排序先按照平均分数，然后按照置信度（分数是原始的平均分数）。

　　

这里给出了排名前 10 的论文，其中第一名是《Understanding deep learning requires rethinking generalization》，这也是本届 ICLR 的最佳论文之一。

最后的论文接收分布类似于上面给出的分数直方图（阈值是在 6.5 和 6 之间）：

转载请注明出处。