这位同学问，有没有考虑用人的神经网络结构来搭建未来的深度学习芯片，就是所谓我知道，好像 IBM 在尝试做，国内中科院也在做类似的东西，对于NVIDIA来讲，在这方面是怎么考虑的？觉得这一块的发展未来会怎么样？

　　董方亮：我们简单来探讨一下这个问题，其实这个同学问的问题，从场景理解就是类似于针对某一个行业或者某一种场景的计算处理器，其实从我们的角度理解，如果针对深度神经网络用 DNN 做模型训练，最后拿到 MODEL 以后去做推演，这就是推演的过程，英伟达会做很多软件库包括硬件加固的优化，包括现在加速优化，所以这位同学提的问题，也正是英伟达在计算方面去做的一些努力，就是针对深度神经网络方面做的一些努力，也就是说我们也会去做针对专业场景的模型，针对这个场景中把模型训练好就可以了。

　　雷鸣：这一次回答了两个问题，我是搞搜索的，现在对于全球这么多的信息量要把它搜集起来建一个索引是非常可怕的事情，是非常慢的，整个索引库更新并不是一瞬间全部更新一遍，它是一个逐渐更新的过程。但是检索的话，它的要求就是回车一瞬间就要出来的东西，所以这两个完全不对等，所以现在深度学习也是一个挺头疼的问题，就是说我训练没有关系，训练上几个小时几周，用几百个 GPU 都没有关系，我认了。但是用的时候可不行，用的时候别人一回车几百个 GPU 算几个小时这事就废了，你刚才也讲了做一些这方面的工作，未来会不会在这方面继续促进？从硬件方面会有一些什么继续的工作？

　　董方亮：其实这是硬件和软件双方面的工作，比如说现在大家线下训练了以后呢，如果进行 GPU 线下训练以后，其实针对现有训练好的模型，英伟达是提供了优化的工具大家可以去用，最早推出的时候叫GIE，现在叫 TensorRT，它的原理就是把训练的模型再进行简化来提高效率，针对现在主流的 Inference 都做支持，这是软件方面的优化。

　　硬件方面我们一直在做这方面的工作，它会提升计算能力，我们会做一些优化和计算能力的提升，在 Inference 端有一个很好的计算的平台。另外有一个问题，就是现在有些人说训练好了以后，这个模型好像去做 Inference 会不会比较慢，这里面就牵扯到，可能使用的网络架构层次比较深，它没有去做一定层次的优化，比如说像我们知道的中国的百度这样的公司，他们其实在深度学习上，有非常优秀的工程师，他们对识别的准确度在一定情况下进行了精简，这是企业科技实力和技术实力的很好体现。

　　雷鸣：现在各种开源、论文也比较多，有遇到这种需求的，其实也有一些论文会讲到一些所谓的怎么把深度学习模型做简化的一些方法，确实这一块还是有挑战，我就在想，这些在未来有没有一种方法自动的把模型压缩一下，压到最小，保证损失也比较小，这个就会感觉特别舒服。

　　还有一个问题就是关于运算的文化，包括 CPU 和 GPU，就是说做一定量运算的话，其实单位运算能耗还是非常高的，尤其是跟人的大脑比起来，单位运算能耗很高，从能耗的角度来考虑的话，NVIDIA 对单位能耗的运算有什么规划？

　　第二个问题就是，有没有考虑 NVIDIA 向端移动的过程，比如说做一个卡在手机里面，会不会有 NVIDIA 的深度学习卡，这种一个是能耗的下降问题，第二个就是说下降的速度肯定是有限的，有没有考虑做专用低功耗深度学习相关的 GPU 的设备，放在端里面使得它的功耗比较低一些，因为移动设备肯定装不了一个显卡，肯定就挂了。

　　董方亮：这个问题问的也很好，从英伟达产品的角度来讲，其实移动端也是我们公司重要的市场，比如说智能摄象头，我们有前端处理器，它不是纯 GPU，它是 SOC，这个 SOC 它的功耗会很小，比如说现在可以讲，我们现在的合作伙伴，比如说海康智能摄像头，里面有用到我们的解决方案，我们的解决方案效能会提高很多，这都是前端很好的应用的例子。

　　回答刚才一位同学问的问题，他说他的机器人能不能用一个功耗比较小的 GPU 或者 SOC ，所以我在这里再回答一遍那个同学的问题，如果把机器人当做一个智能体的话，主要是看这个智能体就三个，一个智能体在环境中怎么交互的，状态怎么样，动作怎么样，这个取决于你对智能体的定义，让它完成什么样的功能。如果你需要它完成比较酷的功能，比如说，我只是简单举个例子，我相信如果你要一个行动很慢的机器人，这样子的机器人可能用不到很强的计算能力。但假如说北大的某位同学很酷，他开发了一个机器人保镖天天跟着他，有什么事情跑在他前面，眼观六路耳听八方，这样的机器人需要很强的运算能力，否则用一个很小的计算处理器，他完全没有办法满足这样的需求，所以可以考虑一下，比如说比较特殊用途的。

　　雷鸣：这是本学期的公开课最后一节课了，我们下一节课是咱们作业的汇报，下次课就不再做公开了，作为最后一节课最后讲几句。

　　第一，非常感谢各位同学以及网上很多的朋友一直在关注这个课。我们希望这个课通过十三讲的内容能给大家带来一个比较完整的 AI+ 产业的体验，当然因为时间的原因，有一些产业还没有涉及，比如说我们说像机器人的产业，智能制造等等，稍微少一点，这些我们未来一年在设计课程的时候会考虑去重新做一些调整。以后的话，虽然课程结束了，我们还会有一些所谓的开放式的系列讲座，在网上我们还会继续的直播，也会找一些产业加上技术的顶级专家跟我们一起分享行业最新的进展，以及怎么用 AI 技术改变一个行业，这些我们都会持续的做，也希望对 AI 和产业结合感兴趣的同学、朋友或者行业人士可以持续的一起关注，然后共同去把 AI 对整个产业和社会影响这件事情能够做的越来越好。作为整个课程的组织者和主讲老师，我非常感谢大家的参与，最后我们再次以热烈的掌声感谢本次的演讲嘉宾董方亮老师！

　　董方亮：谢谢！

　　视频链接：http://www.iqiyi.com/l_19rrdfaczv.html

　　课程介绍

转载请注明出处。