社会焦点

第四范式专栏 | 杨强教授漫谈《西部世界》、生成式对抗网络及迁移学习(2)

字号+ 作者: 来源: 2017-05-06

这让我们想起了图灵测试——计算机和裁判聊天,他们互相看不到彼此,如果在沟通的时候,裁判无法辨别哪个是计算机,“人工智能”在它身上就实现了。这个双机结构和图灵测试不同的地方就是,机器和判官都可以学习,

  第四范式专栏 | 杨强教授漫谈《西部世界》、生成式对抗网络及迁移学习

这让我们想起了图灵测试——计算机和裁判聊天,他们互相看不到彼此,如果在沟通的时候,裁判无法辨别哪个是计算机,“人工智能”在它身上就实现了。这个双机结构和图灵测试不同的地方就是,机器和判官都可以学习,不断提高,最后两者都可以达到最好。

这样,就把我们带到“生成式对抗网络” (GenerativeAdverserial Network, 或者GAN)这个概念。如下图所示, 我们有两个系统,在互相对抗, 两个系统都试图优化自己的目标函数。第一个系统对应判别式模型D: 判别式模型D在试图识别到来的样本是否是自然真实的;它在尽量增大对真实样本的识别率,同时减少对模拟生成的样本的误判率。另一个系统则对应着生成式模型G:G希望它生成的模拟样本可以在D那里鱼目混珠。 所以G试图最大可能地模拟真实的样本。 判别器D从判别角度来说,判别的越好,D的目标实现的就越优 。但对于生成器G来说,它要最小化(minimize)对方的优化函数,这就相当于最大化(maximize)它自己的优化函数。这个过程就像G和D在下棋一样(如下图的博弈树)。在这个树里有两个棋手,一个在不断更新判别器,一个是在不断更新生成器。把这两个合并起来,叫做Minimax算法,这是利用AI下棋的一个基本算法。在这里,就是G和D两个系统在竞争中不断成长,最后两个都达到最优。

  第四范式专栏 | 杨强教授漫谈《西部世界》、生成式对抗网络及迁移学习

这个交互过程到底能不能同时优化两个目标?GAN的发明人Goodfellow有以下的解释。训练过程如下图所示,假设黑色的点是真实样本的分布,绿色的线是根据生成模型产生的生成的样本的分布,那么GAN网络就是在把生成的样本的概率空间映射到真实样本空间里,再去加以对比。这样得到的结果与真实情况会存在偏差,而根据这样的反馈,生成的样本的数据分布不断得到调整,直到和真实分布重合为止。这时,判别式模型G就分不出来真假数据,而学习任务就完成了。

  第四范式专栏 | 杨强教授漫谈《西部世界》、生成式对抗网络及迁移学习

那么,有没有理论来证明以上这个博弈学习交互过程会最终得到令人满意的结果呢?我们看看下面这个定理:

  第四范式专栏 | 杨强教授漫谈《西部世界》、生成式对抗网络及迁移学习

这里给大家翻译一下这个公式:

如果G是丈夫,D是妻子,妻子训练丈夫做家务。妻子不断指出丈夫的不足之处,以此希望丈夫提高自己。丈夫呢,有时他提高的办法是试图猜出妻子满意的家务到底是什么,就不断的试验。但一开始结果可能和妻子的需求不一样,然后得到一顿狠K。所以在提高如果夫妻两人同样好学,妻子能不断指出丈夫的错误,而丈夫也不放弃,一直很努力,那么这对夫妻就会一起进步,一直达到一个共同的最优值,这个家庭也就美满了。

那么这个定理到底是不是靠谱呢?因为它有很多的限制条件,这些条件在现实中都很难成立,所以我们只能通过实验来验证。比方说,我们可以使用手写识别的数据集MNIST和图像识别的数据集TFD来验证,最后发现GAN在集种不同的算法里面的得分是最高的!

  第四范式专栏 | 杨强教授漫谈《西部世界》、生成式对抗网络及迁移学习

利用GAN也可以让电脑学写字。在训练好的时候,这些GAN写的文字几乎可以以假乱真。但它也有做不好的地方,比如说在一些复杂的图像中做出来的就是相当模糊的。我们后面会讨论,这是因为GAN在数据集之间的“距离”的概念还没有学好。

  第四范式专栏 | 杨强教授漫谈《西部世界》、生成式对抗网络及迁移学习

我们接下来要问:样本到底是怎么产生的?一个简单的办法是“猜测”: 我们首先可以假设一个真实的概率分布是按照某种形式来分布的, 然后按照这种形式随机地产生一个样本。这样的结果如果不好,那就回来修改这个分布假设。但是,这种猜的办法质量低,速度慢,结果不靠谱。

那要怎么办呢?假设我们有一张很大的画,我们要把它压缩一张小画,一般是怎么做的呢?我们大家可能用过双筒望远镜。这个望远镜可以反着看,就会看到小版的画面,这个就相当于把一大块数字压缩成一个数字,这个过程叫做convolution(卷积),卷积神经网络就是在做这件事情。那如果我们正着看望远镜,会把一张画放大,我们会看到画作当中的某一个部分,这个过程就相当于从一个或几个数字产生了整个矩阵,这也就是“生成”的过程,即生成式模型在做的事情。理解了这个原理后,基于深度学习和卷积,我们把整个网络反过来,相当于正着用望远镜,把压缩的图形一步一步放大,最后形成了一个复原的样本,它叫“转置卷积(Transposed-Convolution)”, 这个产生样本的方法叫做DCGAN。比方说,可以通过几个例子的训练之后,用来产生新的中文字。还有一些漫画的社区也开始用这个网络,来自动生成漫画的图像。

转载请注明出处。


1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 案例 | 抑郁症、精神分裂,初中生家境优渥,父母为何不让吃药

    案例 | 抑郁症、精神分裂,初中生家境优渥,父母为何不让吃药

  • 实录 |12名女大学生被侵犯,色魔竟然是个老乞丐

    实录 |12名女大学生被侵犯,色魔竟然是个老乞丐

  • 微信群的多人语音和视频聊天功能,你要试试 | 有轻功 #081

    微信群的多人语音和视频聊天功能,你要试试 | 有轻功 #081

  • 为了不让你坐过站,香港人居然做了这款 App | AppWall 精选 #060

    为了不让你坐过站,香港人居然做了这款 App | AppWall 精选 #060