最佳论文

这一节机器之心摘要介绍了 ICLR 2017 的三篇优秀论文（其中两篇都有谷歌参与），据官网的日程安排，大会三天每天都安排了对一篇最佳论文的宣讲。

最佳论文一：理解深度学习需要重新思考泛化（Understanding deep learning requires rethinking generalization）

论文地址：https://openreview.net/pdf?id=Sy8gdB9xx

　　

尽管深度人工神经网络规模庞大，但它们的训练表现和测试表现之间可以表现出非常小的差异。传统的思考是将小的泛化误差要么归结为模型族的特性，要么就认为与训练过程中的正则化技术有关。

通过广泛的系统性实验，我们表明这些传统的方法并不能解释大型神经网络在实践中泛化良好的原因。具体而言，我们的实验表明一个当前最佳的用于图像分类的卷积网络（该网络是使用随机梯度方法训练的）可以轻松拟合训练数据的随机标签。这个现象在质量上不受特定的正则化的影响，而且即使我们将真实图像替换为完全非结构化的随机噪声，这个现象依然会发生。我们通过一个理论构建（theoretical construction）证实了这些实验发现，表明：只要参数的数量超过了数据点的数量（实践中常常如此），那么简单的 2 层深度的神经网络就已经有完美的有限样本表达能力（finite sample expressivity）了。

我们通过与传统模型的比较而对我们的实验发现进行了解释。

最佳论文二：基于隐私数据的深度学习半监督知识迁移（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data）

论文地址：https://openreview.net/pdf?id=HkwoSDPgg

　　

一些机器学习应用的训练涉及到敏感数据，如临床试验中患者的病历。而模型中可能会无意中隐含一些训练数据；因此通过仔细分析该模型就能揭露一些敏感性信息。

为了解决这个问题，我们展示了一种能为训练数据提供强健隐私保障的普适性方法：教师全体的私有聚合（Private Aggregation of Teacher Ensembles/PATE）。该方法通过黑箱的方式组合多个由互斥数据集（如用户数据的不同子集）训练的模型。因为这些模型都依赖于敏感性数据，所以它们并不会发布，但是它们还是可以作为「学生」模型的「教师」。学生在所有教师间的投票中选择学习预测输出，其并不会直接访问单一的教师或基础参数与数据。学生的隐私属性可以直观地理解（因为没有单一的教师和单一的数据集决定学生的训练），正式地即依据不同隐私训练模型。即使攻击者不仅可以访问学生，还能检查内部运行工作，这一属性还将保持不变。

与以前的研究相比，该方法对教师的训练只增加弱假设条件：其适应于所有模型，包括非凸模型（如深度神经网络）。由于隐私分析和半监督学习的改进，我们的模型在 MNIST 和 SVHN 上实现了最先进的隐私/效用（privacy/utility）权衡。

最佳论文三：通过递归使神经编程架构泛化（Making Neural Programming Architectures Generalize via Recursion）

论文地址：https://openreview.net/pdf?id=BkbY4psgg

　　

根据经验，想要从数据中学习程序的神经网络会表现出很差的泛化能力。而且一直以来，当输入复杂度（input complexity）超过一定水平时，我们也难以推理这些模型的行为。为了解决这些问题，我们提出了使用一种关键抽象——递归（recursion）——来增强神经架构。在一个应用中，我们在一个神经编程器-解释器框架中实现了递归——该框架可用于四种任务：小学加法、冒泡排序、拓扑排序和快速排序。我们表明该方法需少量训练数据就能得到更优的泛化能力和可解释性。回归可将问题分成更小的组成部分，并能极大减少每个神经网络组件的域（domain），使得该问题可以解决，从而能够保证整体系统的行为。我们的经验表明为了使神经架构能稳健地学习程序语义（program semantics），有必要结合使用递归这样的概念。

机器之心 ICLR 相关文章列表

下面列出了机器之心此前已经发布过的有关 ICLR 2017 会议的文章，其中包括对重要研究论文的介绍、关于自动编程研究的总结和一些实现。

学界 | ICLR 2017公布论文接收名单，匿名评审惹争议

深度 | 机器的自我进化：走向自主编程的人工智能（附提交ICLR 2017的自动编程论文）

一周论文 | ICLR 2017精选

学界 | 谷歌ICLR 2017论文提出超大规模的神经网络：稀疏门控专家混合层（附论文）

学界 | 谷歌提交ICLR 2017论文：学习记忆罕见事件

学界 | Facebook新论文提出CommAI：评估实现有用通用人工智能的第一步

学界 | 剑桥与微软提交ICLR 2017论文提出DeepCoder：组合其它程序代码生成新程序

深度 | Yann LeCun提交ICLR 2017论文汇总：从生成对抗网络到循环实体网络等

学界 | Yann LeCun提交ICLR 2017论文：使用循环实体网络跟踪世界状态

学界 | Yoshua Bengio 等人提出 Char2Wav：实现端到端的语音合成（附资源）

重磅论文 | 解析深度卷积神经网络的14种设计模式（附下载）

学界 | Vicarious在ICLR 2017提交无监督学习论文，提出层级组合特征学习

资源 | 注意迁移的PyTorch实现

资源 | 在TensorFlow 1.0上实现快速图像生成算法Fast PixelCNN++

　　本文为机器之心报道，转载请联系本公众号获得授权。

转载请注明出处。