来源 | 机器人圈

编辑 | 黑智

上帝用大雨冲毁了巴别塔，人类却在一直试图重新打破语言的国界。因此，机器翻译，和计算机技术的发展，也一直紧密相连。虽然我们还未能达到完美的机器翻译体验，但是，它一直是人类锲而不舍的探寻。如今，它也仍然是人工智能领域最难的课题之一。

而现在，Facebook在这个领域，搞出了大新闻，让我们离“重建巴别塔”，也许又近了一步。Facebook人工智能研究团队（FAIR）公布，他们使用全新的卷积神经网络（CNN）方法进行语言翻译的研究结果，该方法以9倍于循环神经系统（RNN）的速度，实现了目前的世界最高准确度。另外，其FAIR序列建模工具包（fairseq）源代码和经过训练过的系统，可以在GitHub的开源许可下使用，以便其他研究人员可以构建用于翻译、文本摘要和其他任务的自定义模型。

　　为什么是卷积神经网络（CNN）？

卷积神经网络（CNN）最初是由Yann LeCun（黑智注：深度学习领域专家，现FAIR负责人）在几十年前开发的，现如今，CNN在多个机器学习领域，如图像处理方面的应用已经非常成功。但是，在语言翻译方面，由于循环神经网络（RNN）是文本应用的现任技术，并且因其具有高准确度，仍然还是首选技术。

虽然历史上，RNN在语言翻译任务上的表现优于CNN，但它的设计具有固有的局限性，这一点可以通过查看他们如何处理信息的来加以理解。

比如说，计算机是通过一种语言的句子，判断另一种语言具有相同含义的一系列单词，来进行文本翻译的。RNN是按照严格的从左到右或从右到左的顺序，逐字逐句执行。对于驱动现代机器学习系统的高度并行的GPU来说，这是不契合的。计算不能完全并行化，因为每个单词翻译必须等到网络完成前一个单词后，才能进行下去。相比之下，CNN可以同时计算所有元素，充分地利用了GPU的并行性，因此，它在计算上也更有效率。

CNN的另一个优点是具备分层处理信息优势，这使得处理海量数据中的复杂关系变得更加简单。

在以往的研究中，CNN在应用于翻译方面并没有显示出超越RNN的优越性。然而，由于看到了CNN在架构潜力，FAIR开始着手研究CNN在这方面的应用，搭建了新的翻译模型，充分显示了CNN在翻译方面的强大性能。强大的计算效率使得CNN有望扩展翻译的规模，具备覆盖全球6500多种语言的能力。

　　以创纪录的速度取得当前最佳地位

FAIR表示，其研究结果表明，与RNN相比，在由机器翻译会议（WMT）提供的广泛使用的公共基准数据集上，他们的性能达到了全新的最优表现。特别是，CNN模型在WMT 2014英语—法语任务上的结果优于之前的最佳结果记录，提高了1.5 BLEU（这是一个广泛使用的用于判断机器翻译准确性的度量标准）。在WMT 2014英语—德语中，他们提高了0.5 BLEU；在WMT 2016英语—罗马尼亚语中则提高了1.8 BLEU。

对于在实际中的应用，神经机器翻译需要考虑的一个因素是，一旦我们向系统显示一个句子，需要多长时间来获得一个翻译结果。FAIR CNN模型在计算上非常有效，结果显示，它比最强的RNN系统，还快了接近9倍。许多研究团队集中在通过量化权重或浓缩等方法来加速神经网络，这些方法其实可以同样适用于CNN模型，用以提高速度，并且在未来具有巨大的发展潜力。

　　多跳注意（Multi-hop attention）和门控（gating）

在Facebook的架构中，一个显著的组成部分是多跳注意（Multi-hop attention）。注意机制类似于一个人在翻译句子时会分解句子的方式：不同于仅仅看一次句子，写下完整的翻译而不回头查看的方式，Facebook的网络（翻译时）会在句子上采取重复地“回瞥”，从而选择下一步将会翻译哪个词，很像人类在翻译时的做法：写下句子，然后偶尔回顾一下具体的关键词。多跳注意（Multi-hop attention）是这种机制的增强版本，它允许网络进行多次这样的“回瞥”，以产生更好的翻译结果。这些“回瞥”也取决于彼此的关系，例如，第一瞥可以集中在一个动词上，而第二个瞥见则将注意力集中在相关联的辅助动词上。

在下图中，Facebook展示了系统何时读取法语短语（编码），然后输出英文翻译（解码）的过程。首先运行编码器，使用CNN为每个法语单词创建一个向量，同时进行计算。接下来，解码器CNN会以一次一个的频率产生英文单词。在每一步，注意力都会关注法语句子，以决定哪些词语与翻译中的下一个英文单词最为相关。在解码器中有两个所谓的层，下面的动画说明了在每个层中注意力是如何执行的。绿线的强度表示网络对每个法语单词的重视程度。当网络被训练时，翻译可以一直进行，而对于英文单词的计算也可以同时进行。

系统的另一个关键是门控（gating），控制神经网络中的信息流。在每个神经网络中，信息都要流经所谓的隐藏单元。Facebook的门控机制将控制哪些信息会传递到下一个单位，以便能够产生良好的翻译。例如，当预测下一个字时，网络会考虑到迄今为止所产生的翻译。门控将允许它放大翻译的一个特定方面或获得更广泛的概况，而这些取决于网络认为哪些内容更适合于当前的语境。

这种方法是机器翻译的一种可替代架构，为其他文本处理任务开辟了新的可能性。例如，对话系统中的多跳注意使得神经网络能够集中在谈话的不同部分，例如两个单独的事实，并将它们结合在一起，以便更好地应对复杂的问题。

相关阅读：

12天突破英汉翻译

cnn评出的最美味的美食100道

音标翻译单词

机器翻译2017

川普怒怼cnn记者

韩文句子加翻译简单

英语唯美句子带翻译

简明法语教程课文翻译

如何做好法语翻译

过秦论重点句子翻译

阳光藏汉机器翻译

cnn新闻附翻译

相关推荐：

华为史上最美操作系统，你绝对不能错过的EMUI5.0

国产操作系统典范：deepin操作系统

娱乐办公两不误！这个笔记本能把屏幕拔下来写字

斗鱼响应新规加强监管，坚持打造优质精品直播

SpaceX 火箭爆炸原因确定：液态氧过冷成了固态

华为Mate9中国版真机秀 你绝对没发现它有两种版本

99%的人都不知道的微信高效使用术？

乐视网一周蒸发88亿元 贾跃亭反思节奏发展过快

似乎已经战胜传统渠道的小米 今年为什么被OPPO、vivo 打败？

优雅商务风，性能一鸣惊人—TCL 950体验评测

转载请注明出处。