在该论文中，作者们发现许多算法严格依赖为输入提供优良的度量标准。例如，数据通常是通过所谓「合理」的方式进行聚类。因此对于需要良好度量的应用，他们希望能提供更加系统的方式规范化主观认为「类似」的方式。在这一篇论文中，作者们提出了一个算法，即在给定 n 维点的相似样本对情况下，学习一个 n 维距离度量（distance metric）来表征这些样本之间的关系。他们的算法基于将度量学习作为凸优化问题，并能得出有效的局部最优解。作者们还经验性地证明度量学习能显著提高聚类算法的性能。

紧接着，吴恩达和Stuart Russell 在 2000 年发表的一篇逆向强化学习算法（Algorithms for Inverse Reinforcement Learning）也有很大的影响力，该论文由 ICML 收录。除了该篇论文，同样于 2000 年发表的动态贝叶斯网络 Rao-Blackwellised 粒子滤波器也有深远的影响，该论文由 UAI 收录。

在本篇论文中，作者们先是介绍了粒子滤波器（Particle filters/PF）是用于动态贝叶斯网络（DBN）基于采样的推理/学习高效算法。然后他们展示了如何使用动态贝叶斯网络的结构提高粒子滤波的效率，即使用一种称之为 Rao-Blackwellisation 的技术。作者们的研究显示，Rao-Blackwellised 粒子滤波器（RBPF）能产生比标准 PF 更加精准的估计。

以上两篇是 Stuart Russell 参与发表影响比较深远，引用比较多的学术论文。而若要进一步了解 Russell 最近的研究动态，或者是最近发表过的论文，我们可以了解一下以下两篇论文。在这两篇论文中，Russell 扮演者导师的角色。

第一篇收录于 AAAI-2017 的论文，该论文讲述了一种用于时间模型中联合参数和状态估计的近似黑箱的在线算法。机器之心在 AAAI-2017 期间不仅对该论文做过详细报道，同时还对该论文的其他三位作者 Yusuf Erol、吴翼和李磊进行过专访（）。

在本论文中，作者们表示虽然在线联合参数和状态估计是时间模型的核心问题并十分重要，但大多数现有的方法不是局限于特定类型的模型，就是计算量十分巨大。因此他们提出了一种全新的近似黑箱算法（nearly-black-box algorithm），这是一种用于状态变量的粒子滤波（particle filtering）和用于参数变量的预设密度滤波（assumed density filtering）的混合。因为该算法在计算上具有高效性，并适用于带有任意转变动态（transition dynamics）的离散和连续参数空间，作者表明算法在几种不同的模型都生成了更加精准的结果。

同样，Russell 作为作者之一与第一作者Dylan Hadfield-Menell在去年的人工智能顶会 NIPS-2016 上发表了一篇协同反向强化学习（Cooperative Inverse Reinforcement Learning），该论文还有其他几篇强化学习论文（如 Q-Decomposition for Reinforcement Learning Agents 和 Algorithms for Inverse Reinforcement Learning 等）也在一定程度上表明了 Russell 比较关注于强化学习这一块。

在本论文中，作者们首先就阐明为了让自治系统（autonomous system）对人类有帮助，其需要在环境中令自身的价值与人类的价值相一致，从而自治系统的行为才能有助于人类价值的最大化。随后，作为协同反向强化学习（cooperative inverse reinforcement learning/CIRL），他们提出了值对齐问题（value alignment）的正式定义。他们的该研究表明，在 CIRL 博弈中能计算最优联合策略，并证明了孤立的最优性在 CIRL 中并不是最优的。

以上，机器之心简单地梳理了其研究论文，我们希望读者对 Russell 教授的研究能有一个大致的了解，并期望学术上硕果累累的 Russell 教授能在 GMIS 2017 大会上给我们带来不一样的思维盛宴。

　　参考文献

　　聚焦人工智能的未来，Russell 还想分享更多！

Stuart Russell 有着丰富的研究经验，对人工智能的未来也有着细致的思考。在机器之心 GMIS 2017 全球机器智能峰会上，这位人工智能领域「标准教科书」的作者将会为我们带来更多人工智能技术和研究方面的精彩分享，这也是与顶级大牛近距离接触的不可多得机会。

2017 全球机器智能峰会（GMIS 2017）是由机器之心主办的关注全球人工智能及相关领域的行业盛会，将于 5 月 27 日至 28 日在北京 898 创新空间举行。为了让更多人工智能爱好者参与进来，我们也已经开启了免费赠票活动。

在文章《》下面留言，即有机会获得价值 2018 元的大会门票。

转载请注明出处。