显式正则化更像是做调整参数，有助于改善泛化能力，但不使用显示正则化方法也不一定意味着会产生泛化错误。并不是所有拟合训练数据的模型都能够很好地泛化。这篇论文中一个有趣的分析表明，通过使用梯度下降也能获取一定量的正则化：

　　“我们分析了作为隐式正则化函数的随机梯度下降（SGD）的表现。对于线性模型，SGD 总是收敛到一个小正态（norm）的解决方案。因此，算法本身将解决方案隐性地正则化了……尽管这并不能解释为什么某些架构比其他架构泛化得更好，但它确实表明，要准确理解使用 SGD 训练的模型继承了哪些属性，还需要更多的调查。”

　　机器学习模型的有效容量

　　假设有个神经网络，训练样本是有限数的 n。如果网络有 p 个参数（p＞n），那么即使是简单到只有两层的神经网络也可以对输入样本的任何函数进行表征。论文作者（在附录中）证明以下定理：

　　“存在一个激活函数为 ReLU 的两层神经网络，权重为 2n + d，可以对维度为 d 大小为 n 的样本的任何函数进行表征。”

　　就连线性大小的 2 层深网络也可以表征训练数据的任何标签！

　　结论：需要新的衡量模型复杂度的方法

　　“这种情况对统计学习理论构成了一个概念上的挑战，因为衡量模型复杂度量的传统方法不能很好地解释大规模人工神经网络的泛化能力。我们认为，我们目前还没有发现一个精确的正式衡量方法，在这个衡量方法下，这些庞大的模型都很简单。从我们的实验得出的另一个见解是，即使最终的模型不能泛化，在实际操作中优化还是很容易的。这也表明了为什么实践中容易做优化的原因与神经网络泛化能力的原因是不同的。”

　　论文及 ICLR-17 公开评审简介

　　

摘要

　　尽管体积巨大，成功的深度人工神经网络在训练和测试性能之间可以展现出非常小的差异。过去一般将其归功于泛化误差小，无论是对模型谱系的特点还是对于训练中使用的正则技术来说。

　　通过广泛的系统的实验，我们展示了传统方法无法解释为什么大规模神经网络在实践中泛化表现好。 具体来说，我们的实验证明了用随机梯度方法训练的、用于图像分类的最先进的卷积网络很容易拟合训练数据的随机标记。这种现象本质上不受显式正则化影响，即使我们通过完全非结构化随机噪声来替换真实图像，也会发生这种现象。我们用一个理论结构证实了这些实验结果，表明只要参数的数量超过实践中通常的数据点的数量，简单两层深的神经网络就已经具有完美的有限样本表达性（finite sample expressivity）。我们通过与传统模型进行比较来解释我们的实验结果。

　　【一句话总结】通过深入系统的实验，我们指出传统方式无法解释为什么大规模神经网络在实践中泛化表现良好，同时指出我们为何需要重新思考泛化问题。

　　【ICLR 评委会最终决定】作者提供了深度神经网络拟合随机标注数据能力的迷人研究结果。调查深入，有启发性，鼓舞人心。作者提出了a）一个理论实例，显示具有大量参数和足够大的 wrt 样本的简单浅层网络产生了完美的有限样本表达性；b）系统广泛的实验评价，以支持研究结果和论点。实验评价的考虑非常周全。

论文地址：https://openreview.net/forum?id=Sy8gdB9xx&noteId=Sy8gdB9xx

Adrian 原文：https://blog.acolyer.org/2017/05/11/understanding-deep-learning-requires-re-thinking-generalization/

　　©? 本文为新智元获授权翻译，未经授权请勿转载。

相关阅读：

深度思考比勤奋更重要

深度案例思考法

让课堂发生深度学习心得

思考的方式和深度

吴恩达深度学习基础教程

学习需要深度思考

1天搞懂深度学习

loadrunner参数化详解

怎么让思考更加有深度

kinect获取深度图像

java泛型详解

基于深度学习的图像识别

相关推荐：

华为史上最美操作系统，你绝对不能错过的EMUI5.0

国产操作系统典范：deepin操作系统

娱乐办公两不误！这个笔记本能把屏幕拔下来写字

斗鱼响应新规加强监管，坚持打造优质精品直播

SpaceX 火箭爆炸原因确定：液态氧过冷成了固态

华为Mate9中国版真机秀 你绝对没发现它有两种版本

99%的人都不知道的微信高效使用术？

乐视网一周蒸发88亿元 贾跃亭反思节奏发展过快

似乎已经战胜传统渠道的小米 今年为什么被OPPO、vivo 打败？

优雅商务风，性能一鸣惊人—TCL 950体验评测

转载请注明出处。