GAN在半监督学习中的应用

再来看一个GAN在半监督学习（semi supervised learning）中的例子。假如我们面对一个多分类的任务，手里只有很少有标注的样本，同时有很多没有标注的样本，怎么能够利用GAN的思路合理使用无标签数据，提高分类性能呢？

在去年NIPS大会上，来自OpenAI的作者提供了如下思路：考虑一个K分类任务，有一个判别模型 G可以帮助生成样本，与此同时，有一个判别模型做一个K+1分类任务，其中新加的类是预测样本是否是由生成模型生成的。跟传统GAN不同，这里我们最终需要的是判别模型，而不是生成模型。

简单而言，目标函数针对不同数据，可以分为两部分。对于有标注的样本，目标是希望判别模型能够正确输出标签。而对于没有标注的生成样本，则是由GAN定义的loss。

该作者认为这样处理的好处是可以充分利用未标注数据来学习样本分布，从而辅助监督学习的训练过程。实验结果也显示通过这种处理方法训练出来的判别模型，在合理利用未标注数据方面，有着比其他方法更好的效果。

　　GAN的改进——WGAN

刚才谈到很多GAN的优点、应用和变种，那么GAN真的是完美无缺的吗?

其实使用过GAN的人应该知道，训练GAN有很多头疼的问题。例如：GAN的训练对超参数特别敏感，需要精心设计。GAN中关于生成模型和判别模型的迭代也很有问题，按照通常理解，如果判别模型训练地很好，应该对生成的提高有很大作用，但实际中恰恰相反，如果将判别模型训练地很充分，生成模型甚至会变差。那么问题出在哪里呢？

在ICLR 2017大会上有一篇口头报告论文提出了这个问题产生的机理和解决办法。问题就出在目标函数的设计上。这篇文章的作者证明，GAN的本质其实是优化真实样本分布和生成样本分布之间的差异，并最小化这个差异。特别需要指出的是，优化的目标函数是两个分布上的Jensen-Shannon距离，但这个距离有这样一个问题，如果两个分布的样本空间并不完全重合，这个距离是无法定义的。

作者接着证明了“真实分布与生成分布的样本空间并不完全重合”是一个极大概率事件，并证明在一些假设条件下，可以从理论层面推导出一些实际中遇到的现象。

既然知道了问题的关键所在，那么应该如何解决问题呢？该文章提出了一种解决方案：使用Wasserstein距离代替Jensen-Shannon距离。并依据Wasserstein距离设计了相应的算法，即WGAN。新的算法与原始GAN相比，参数更加不敏感，训练过程更加平滑。

　　GAN的未来

无论是无监督学习、半监督学习，GAN给我们提供了一个处理问题的崭新思路，就是把博弈论引入到机器学习过程中来。可以预见，GAN本身的算法以及看问题的角度，必将对未来设计算法、以及解决实际问题产生深远的影响。

那么，GAN当前有哪些急需解决的问题呢：

首先，针对图片生成问题而言，一个至关重要的问题是GAN和其他方法比，到底好多少？GAN框架中的各种衍生算法相互比较，谁好谁坏？很可惜的是，现在没有一个客观的公认标准去衡量不同图片生成算法的差异性。其实这本身就是一个难题，因为人会从多角度判断一张图片是否真实，如图片是否清晰、图片物体线条颜色是否正确、图片里是否有一些反直觉的物体等，只有有了合理的衡量标准，才能科学系统地研究并改进GAN的算法。

其次，GAN是着眼于对所有生成模型的学习，并不局限于图像生成一个应用层面。那么GAN如何运用于其他问题，如机器翻译、对话生成、语音生成等？这些都是有趣、富有挑战的事情。其实还有更有趣的事情，如GAN能不能生成真实场景作为模拟器，帮助训练自动驾驶？GAN能否生成逼真的虚拟视觉给人们提供全新的游戏体验？

也许盗梦空间离我们很近，也许盗梦空间的创造者就是你。

参考文献：

1.Wasserstein GAN

https://arxiv.org/abs/1701.07875

2.Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

https://arxiv.org/abs/1511.06434

3.Improved techniques for training gans

https://arxiv.org/abs/1606.03498

4."Generative Adversarial Networks," NIPS 2016 tutorial by Ian Goodfellow

http://www.iangoodfellow.com/slides/2016-12-04-NIPS.pdf

　　作者简介

转载请注明出处。