作者对深度学习算法失败的情况提供了4类例子。第一个例子是分段线性曲线（iece-wise linear curves）。第二个例子是flat activation；第三是端到端训练，这在优化部分可能失败；最后利用学习多种正交函数的问题进行更多的理论解释。
问题：训练一个分段曲线检波器
让我们来看一个非常简单的问题。给出一个分段线性曲线的表示，并给出分段线性曲线Y值的向量，我希望你给我求曲线的参数 a 和 θ。
第一个尝试：深度自编码器（Deep AutoEncoder）
第一个尝试是使用深度自编码器。我们将学习一个编码网络，设为Ew?。但它不能很好地工作。
这里你看到的蓝色是原始曲线，红色是编码和解码之后的曲线。经过500次迭代，它看起来结果很糟糕。执行更多的迭代，曲线开始变得更好。但即使在50000次迭代之后它仍然没有很准确。
第二个尝试：凸目标
第三个尝试：卷积
结果好一点，但仍不是特别好
第四个尝试：卷积+预处理
终于，结果很好。
注意：
使用convnet可以进行有效的预处理
预估和使用 3×3 矩阵，而不是 n×n 矩阵
经验：
SGD 会特别慢
先验知识能够让我们：选择更好的架构（不失根据表现力，而是几何）；选择更好的算法（预处理的SGD）
第二部分 扁平激活
由于饱和激活（saturating activation）带来的梯度消失（例如，在RNN中）优化中的难题近似光滑。有时会有效，但是速度非常慢，且只有接近性的结果。通常是完全的失败。也许可以使用一个更深的网络，方法：端到端。但是，训练和测试的时间漫长。曲线没有得到很好地捕捉。
Miticlass：问题捕捉边界“只向前”的反向传播
经验：局部搜索会起作用，但不需要梯度
第三部分 端到端的训练
端到端 VS. 分解
架构：Lenet 和 2层ReLU连接，由sigmoid 连接; 端到端的方法：在主要的目标上训练整个网络；分解方法：增强目标，具体到第一网格的损失，使用每个图像的标签
为什么端到端的训练不起作用：Bengio 和 Gulcehre在2016年曾进行过类似的训练。他们建议，可能是由于“局部最小化”的问题。但是，我们证明，并不是这个问题。
随机初始化中的信号到噪音比例（SNR）
第四部分 学习一些正交函数
学习一些正交函数，让H成为经典正交函数的假设
使用基于梯度的深度学习来学习H
分析工具
在梯度中，包含了多少信息。定理。
证明概念
证明概念的过程
证明概念的过程
例子：奇偶函数
例子：奇偶函数
可视化描述：线性周期函数
新智元招聘
转载请注明出处。
相关文章
精彩导读
热门资讯
关注我们
