当你深入研究 GAN 时，你会看到我们目前所面对的一个主要困难，即训练这些网络以让其较好地收敛——我们想让生成器与判别器能够达到我们所希望的平衡，但是通常都不太会实现。关于会发生怎样的错误可以参见这个网址，在里面你可以查阅很多信息与相关研究：https://www.quora.com/Do-generative-adversarial-networks-always-converge。下面这个网址提供了越来越多如何应对这些问题的信息：https://github.com/soumith/ganhacks。

以下突出强调几个最普遍的 GAN 失败的例子：

1、判别器变得过于强大、迅速，导致生成器结束训练时学不到任何东西。在我们拳击类比中，这就像是判别器变得太强以至于生成器完全在被吊打。由于判别器（相对于生成器）不会犯任何错误也不会给生成器留下任何可匹敌的空间，所以生成器无法学到任何东西。理论上这意味着，在上述训练步骤 3 中，判别器非常精准且自信地把生成的数据分类为假，以至于在对生成器所学习的判别器反向传播损失函数梯度（discriminator's back-propagated loss function gradients）中没有任何东西。

　　2、生成器仅会学习判别器非常特定的弱点，然后利用这些弱点来欺骗判别器以使判别器将数据分类为真，而不是学习去描绘真实的数据分布。这在理论上的解释可以参见：http://www.kdnuggets.com/2015/07/deep-learning-adversarial-examples-misconceptions.html。在我们拳击类比中，这就像是生成器仅学到了关于判别器非常有限的弱点，然后尽可能地利用那些弱点而不是去好好学习关于拳击的基础和技巧。在对阵一个没有同样缺点的对手时，生成器会变得毫无用处！并且判别器从生成器中学到的任何东西都也会变得没有用处，因为在真实的比赛中判别器的对手不会表现得像生成器这般无用。

3、生成器仅学习了真实数据分布中非常小的一个子集。在我们的拳击类比中，这就像是我们的生成器仅学会了出拳猛击和躲闪——而没有发展出任何其它工具和技巧。这将会导致判别器从生成器那里仅能学到非常少的东西，并且使得判别器过分重要地去表示这数据分布的小小的子集。在实践中发生的一个例子即：对每个可能的输入，生成器都生成同样的数据样本，并且其输出数据没有任何变化。

转载请注明出处。