2002 年的时候，Stanley 的事业刚刚开始，他就写出了 NEAT 算法，该算法可以让神经网络随时间进化成更大和更复杂的版本。根据谷歌学术的数据，他的对应性论文《Evolving neural networks through augmenting topologies》已经被引用了至少 1600 次，而且自发表以来，就一直不断地被深度神经网络设计和神经进化方面的研究所引用。在 2006 年，Stanley 发表了一种可以实现更大规模的神经进化的算法 Hyper-NEAT，该算法的灵感来自于 DNA 的编码能力——DNA 仅需大约 30000 个基因就能编码带有数万亿个连接的数十亿个生物神经元。（Hyper-NEAT 的全称是 Hybercube-based NeuroEvolution of Augmenting Topologies。）今天，Stanley 说他很欣喜地看到自己的研究又回归成为了时代的思潮。

和 Stanley 一样，OpenAI 和谷歌也正在研究来自这个领域的两种不同的思想。谷歌的混合方法将经典的神经进化和反向传播等技术结合到了一起，从而实现了现在非常强大的深度学习：教一个算法如何在世界中采取行动，让其进化，而该算法的「孩子」将具有大多数积累的知识。OpenAI 的方法更类似于生物的进化方式。该团队在每一代仅允许随机突变来主宰该网络提升或失败的方式，也就是说其提升是完全通过随机进化创造的。这两项研究都有非常明确的目标——识别图像或在游戏中获得高分（即使马跑得更快）。该算法将如何实现目标就要看造化了。

以下是对谷歌和 OpenAI 的这两项研究的摘要介绍：

谷歌论文：图像分类器的大规模进化（Large-Scale Evolution of Image Classifiers）

链接：https://arxiv.org/abs/1703.01041

神经网络已被证明能有效地解决困难问题，但它们的架构的设计难度可能非常大，甚至只是对单独的图像分类问题也是如此。进化算法（evolutionary algorithm）是一种能用于自动发现这些网络的技术。尽管进化模型（evolving model）有显著的计算要求，但我们的研究表明今天已经可以使用进化模型实现媲美大型的人工设计的架构了。我们在前所未有的规模上使用了简单的进化技术来发现用于 CIFAR-10 和 CIFAR-100 数据集的模型，并且是从简单平常的初始条件开始的。为了实现目标，我们使用了全新的和直观的突变算子（mutation operator），其可以在大型搜索空间中寻找方向。我们要强调：一旦进化开始，其就不再需要人类的参与了，然后其会输出一个完全训练好的模型。在这项研究中，我们特别强调了结果的可重复性、输出结果的可变性和对计算的要求。

OpenAI 论文：用作强化学习的可扩展替代的进化策略（Evolution Strategies as a Scalable Alternative to Reinforcement Learning）

链接：https://arxiv.org/abs/1703.03864

我们探索了进化策略（Evolution Strategies/ES）的使用，这是一类黑箱的优化算法，可作为 Q-学习和策略梯度等流行的强化学习方法的替代。在 MuJoCo 和 Atari 上的实验表明 ES 是一种可行的解决策略，其可以很好地扩展到多个可用的 CPU 上：通过使用数百到数千个并行的工作器（worker），ES 可以在 10 分钟内解决 3D 人形行走的问题，而且在一小时的训练之后可以在大多数 Atari 游戏上实现很有竞争力的结果。此外，我们还突出强调了作为一种黑箱优化技术的 ES 的几个优势：动作频率和延迟的奖励对其不会产生影响、能包容非常长的时间、不需要时间贴现（temporal discounting）或价值函数近似（value function approximation）。

转载请注明出处。