第四范式专栏

演讲者：杨强

杨强教授为机器之心 「2017 全球机器智能峰会」的重要演讲嘉宾。

演讲时间：5 月 28 日，9:40-10:10AM

演讲主题：迁移学习研究

　　杨强教授为第四范式首席科学家，华人界首个国际人工智能协会AAAI Fellow、唯一的AAAI 华人执委。近日，杨强教授在［范式大学］内部课程中分享了他在生成式对抗网络模型和迁移学习等领域的独特见解和最新思考。

以下内容根据杨强教授演讲编写，略微有所删减：

有些人看过电视剧《西部世界》—在《西部世界》里，你可能问的一个关键问题是什么？就是当剧中的人们，其中任何一个人走到你面前，你能否区分出他／她是个真人？ 你会问：咦，这不是图灵测试要解决的问题吗？ 是的。 问题是，如果《西部世界》里的这些机器人已经通过了图灵测试，你又如何区分他／她们呢？

要解决这个问题，除了用“一枪把对方打死，然后看对方是否真的死了”这个极端的检测方法以外，还有什么更好的方法呢？这里有些剧透，答案是：拍苍蝇。当一个苍蝇飞到一个“人”的脸上，如果这个人没有感觉，不会去拨开或拍打苍蝇，他／她很可能就是机器人。结果因此还引发了一件趣事，去年美国大选的时候，希拉里在讲台上面，一个苍蝇飞到她脸上，她没有搭理，后来有人就说：糟了，我们要选一个机器人当总统了！那时《西部世界》恰好正在热播。

言归正传，从人工智能的角度，“拍苍蝇”这个例子，说明什么呢？它告诉我们有一些关键特征可供识别真人亦或机器人，但要找到这些关键特征并不容易。对《西部世界》而言，你得把整个剧看完才能知道。也就是说，你不但要有大量数据的训练，而且得知道剧里的机器人的制造原理，这样才能找到这个重要特征。那么问题来了：如果作为“游客”，我们对这个机器人的构造知道甚少怎么办？

要回答这一点，我首先要给大家讲一下概率模型的不同类型。概率模型是贯穿整个机器学习的主线。下面PPT上的这两张图是对一个女孩的素描，我们在素描里面可以看到很多的特征，比方说比较飘逸的笔画、或者是适合女性颜色等。我们把上面的问题简化一下：如何能够通过辨别这些体征、从而认出来画上的是男是女？

这里我要介绍一个“生成”模型的概念。 在某个关于“人”的样本集里面找到某一个高概率的样本，我们认为这个样本很可能对应我们对“人” 这个概念的认识。然后我们根据这个样本来做完形填空或着彩。在小学中学我们经常做的一种题就是填空。其实，生成样本的过程和填空很相似：当我们看到这张画要给它着色时要选择颜色和图案，是因为这些选择符合“人”的概率分布。

再具体一些：如果数据是（X，Y），这里我们用X这个变量来代表笔画和颜色，Y这个变量来区分男女，那么这个概率数据是遵循一定分布规律的。但问题是，如何才能得到这个数据的分布？在现实中，做到这一点是非常难的，因为这需要我们获得概率的“联合分布”，就是所有显式和隐式的特征和它们所有可能取值的概率。知道了这个概率，生成某个样本就很容易了。 在机器学习的历史上， 关于要不要首先获得“联合分布”这个问题，有着很多的争论。比方说，有贝叶斯流派，就说：“是的，我们需要这样一个联合分布”。而深度学习流派，或者是SVM等算法对应的这些流派，就说：既然我们的目的是分类，那用简单的算法就可以了，所以”不需要”。 得到一个联合概率分布是非常非常难的事情，因为需要因果关系的知识，还需要很多先验概率。

生成模型是很有用的。比如说，我们在一幅画上如何确定这样着色是有意义的，但那样做是没有意义的？除了在画作上，在音乐作曲的问题上也是如此：如何做一首动听的曲子？为什么有的曲子就很好听，有的就很难听？这些任务，其实都是在做“生成”的工作。我们为什么很尊敬某些作曲家、电影导演、作家？ 作为观众，我们去看电影很容易，但是让自己去做导演，做编剧往往就觉得很难。 这是为什么呢？ “联合概率模型”的学习过程就帮助我们回答了这样一个问题。问题是：学习如何产生一个联合概率模型，需要大量的高质量数据来训练。真正能了解真实概率生成机制的只有少数人，即那些机器人的设计者。这也和我们的常识是一致的： 只有少数人能够成为好的作家，只有少数人能够成为好的诗人，而要做到这一点需要遵循所谓的“一万个小时定律”。

因为生成式模型很难估计，所以，我们在机器学习中更多的是使用“判别式机器学习模型”的。这种模型和“生成式概率模型”是有一个本质的区别的。 我们过去熟悉的模型如逻辑回归，SVM和深度学习等，多是判别式模型。就是：给你一个样本，模型不关注样本是怎么“真正”生成的，也不关心样本构造的真实因果关系和概率值， 而是直接判别样本属于哪一类。 我们可以管这种判别的方式叫做“懒人主义”。 相反，生成式模型可以被认为是一个“完美主义。” 什么是完美主义呢？我们要去判别一个事，从它最原始的那个点开始分析，产生先验概率分布，然后根据因果关系一直推到可观察的样本分布，最后再得到样本。这样，一旦得到整个联合概率分布，就可以对缺失数据和未来的事件做出准确的预测。 所以，到了完成了这个联合分布的学习时，我们机器学习的工作就做的差不多了。

生成式模型和判别式模型的区别很像人和机器的区别：机器采取的是完美主义，因为它可以不断优化，追求极致。而人不会如此，人是够好了就满足了。从这一点上来说，人完全没有必要和阿尔法狗去比赛，因为这是不明智的。我们人类的构造不是干这个的，我们的构造是能把一件事给做完了。比方说，人应该去比的是你有多快能学会下围棋，并从中得到多少乐趣。而把围棋下的极致这件事是机器擅长的。

有没有办法，利用有限的数据，通过不断提高的方式，建立一个生成式模型呢？Ian Goodfellow提出了一种新的方法，很值得我们思考： 他的设想是用一个生成式模型（Generator）来生成模拟样本，再用一个判别式模型来区分这个生成的样本是否真实，这样的一对系统，可以互相对弈，共同提高。 以作画为例。 假设我们的目的是设计一台机器人来模拟大师们的画作。 最开始，机器人先通过生成式模型完成某个画作。 这幅画可能很差，离大师的水平差的很远。如果这个时候有一个评论员（判别式模型）来告诉机器人这幅画的缺点，那机器人就可以在下一幅画中加以提高。如果评论员自己犯了错误，没认对，那机器人就可以告诉评论员如何提高鉴赏能力。 评论员总是在问这样一个问题：这幅画是大师画的还是机器人画的？如果判别式模型可以准确地辨认出来是机器画的，那说明这个生成式模型还不够好，如果判别不出来，就说明画作已经能够以假乱真了，而判别式模型就有待提高。这里，生成式模型和判别式模型，利用不断反馈，实现相互提高。

转载请注明出处。