GAN 虽然解决了生成式模型的一些问题, 并且 对其他方法的发展具有一定的启发意义, 但是 GAN并不完美, 它在解决已有问题的同时也引入了一些 新的问题. GAN 最突出的优点同时也是它最大的 问题根源. GAN 采用对抗学习的准则, 理论上还 不能判断模型的收敛性和均衡点的存在性. 训练过 程需要保证两个对抗网络的平衡和同步, 否则难以 得到很好的训练效果. 而实际过程中两个对抗网络 的同步不易把控, 训练过程可能不稳定. 另外, 作 为以神经网络为基础的生成式模型, GAN 存在神 经网络类模型的一般性缺陷, 即可解释性差. 另外, GAN 生成的样本虽然具有多样性, 但是存在崩溃模 式 (Collapse mode) 现象[4], 可能生成多样的, 但对于人类来说差异不大的样本.

　　虽然 GAN 存在这些问题, 但不可否认的是, GAN 的研究进展表明它具有广阔的发展前景. 例 如, Wasserstein GAN[29] 彻底解决了训练不稳定问 题, 同时基本解决了崩溃模式现象. 如何彻底解决崩 溃模式并继续优化训练过程是 GAN 的一个研究方 向. 另外, 关于 GAN 收敛性和均衡点存在性的理论 推断也是未来的一个重要研究课题. 以上研究方向 是为了更好地解决 GAN 存在的缺陷. 从发展应用GAN 的角度, 如何根据简单随机的输入, 生成多样 的、能够与人类交互的数据, 是近期的一个应用发展 方向. 从 GAN 与其他方法交叉融合的角度, 如何将GAN 与特征学习、模仿学习、强化学习等技术更好 地融合, 开发新的人工智能应用或者促进这些方法 的发展, 是很有意义的发展方向. 从长远来看, 如何 利用 GAN 推动人工智能的发展与应用, 提升人工 智能理解世界的能力, 甚至激发人工智能的创造力 是值得研究者思考的问题.

　　4.3 GAN 与平行智能的关系

　　王飞跃研究员[47?48] 于 2004 年提出了复杂系 统建模与调控的 ACP (Artificial societies, compu- tational experiments, and parallel execution) 理论 和平行系统方法. 平行系统强调虚实互动, 构建人工 系统来描述实际系统, 利用计算实验来学习和评估 各种计算模型, 通过平行执行来提升实际系统的性 能, 使得人工系统和实际系统共同推进[49?50]. ACP理论和平行系统方法目前已经发展为更广义的平行 智能理论[51]. GAN 训练中真实的数据样本和生成 的数据样本通过对抗网络互动, 并且训练好的生成 器能够生成比真实样本更多的虚拟样本. GAN 可以 深化平行系统的虚实互动、交互一体的理念. GAN作为一种有效的生成式模型, 可以融入到平行智能 研究体系. 本节从以下几个方面讨论 GAN 与平行 智能的关系.

　　4.3.1 GAN 与平行视觉

　　平行视觉[52] 是 ACP 理论在视觉计算领域的推 广, 其基本框架与体系结构如图 6 所示. 平行视觉结 合计算机图形学、虚拟现实、机器学习、知识自动化 等技术, 利用人工场景、计算实验、平行执行等理论 和方法, 建立复杂环境下视觉感知与理解的理论和 方法体系. 平行视觉利用人工场景来模拟和表示复 杂挑战的实际场景, 使采集和标注大规模多样性数 据集成为可能, 通过计算实验进行视觉算法的设计 与评估, 最后借助平行执行来在线优化视觉系统. 其 中产生虚拟的人工场景便可以采用 GAN 实现, 如 图 5 所示. GAN 能够生成大规模多样性的图像数 据集, 与真实数据集结合起来训练视觉模型, 有助于 提高视觉模型的泛化能力.

　　4.3.2 GAN与平行控制

　　平行控制[53?55] 是一种反馈控制, 是 ACP 理论 在复杂系统控制领域的具体应用, 其结构如图 7 所 示. 平行控制核心是利用人工系统进行建模和表示,通过计算实验进行分析和评估, 最后以平行执行实 现对复杂系统的控制. 除了人工系统的生成和计算 实验的分析, 平行控制中的人工系统和实际系统平 行执行的过程也利用 GAN 进行模拟, 一方面可以 进行人工系统的预测学习和实际系统的反馈学习,另一方面可以进行控制单元的模拟学习和强化学习.

　　4.3.3 GAN 与平行学习

　　平行学习[56] 是一种新的机器学习理论框架, 是ACP 理论在学习领域的体现, 其理论框架如图 8 所 示. 平行学习理论框架强调: 使用预测学习解决如何 随时间发展对数据进行探索; 使用集成学习解决如 何在空间分布上对数据进行探索; 使用指示学习解决如何探索数据生成的方向. 平行学习作为机器学 习的一个新型理论框架, 与平行视觉和平行控制关 系密切. GAN 在大数据生成、基于计算实验的预测 学习等方面都可以和平行学习结合发展.

　　结论

　　本文综述了生成式对抗网络 GAN 的研究进展. GAN 提出后, 立刻受到了人工智能研究者的重视. GAN 的基本思想源自博弈论的二人零和博弈, 由一个生成器和一个判别器构成, 通过对抗学习的方式 来迭代训练, 逼近纳什均衡. GAN 作为一种生成式 模型, 不直接估计数据样本的分布, 而是通过模型学 习来估测其潜在分布并生成同分布的新样本. 这种 从潜在分布生成 “无限” 新样本的能力, 在图像和视 觉计算、语音和语言处理、信息安全等领域具有重 大的应用价值.

　　本文还展望了 GAN 的发展趋势, 重点讨论了GAN 与平行智能的关系, 认为 GAN 可以深化平行系统的虚实互动、交互一体的理念, 为 ACP 理论提 供具体和丰富的算法支持. 在平行视觉、平行控制、 平行学习等若干平行系统中, GAN 可以通过生成与 真实数据同分布的数据样本, 来支持平行系统的理 论和应用研究. 因此, GAN 作为一种有效的生成式 模型, 可以融入到平行智能的研究体系.

　　Reference 详见论文

　　作者介绍

新智元“3·27”AI 技术峰会购票二维码：

转载请注明出处。