新智元整理

整理：随一、熊笑

　　【新智元导读】从无人驾驶到智能医疗，从嵌入式系统到通用 AI，通过为期 13 讲的北大 AI 公开课，新智元和读者一起全景式地领略了 AI 对社会生活各方面带来的影响和改变。在公开课的最后一讲上，英伟达自动驾驶业务中国区负责人董方亮亲临现场，与雷鸣老师一道，就 GPU 的演进历程、 GPU 和深度学习的关系、AI 技术在各产业的应用等问题展开了深入的讨论和交流。

　　本讲视频链接：http://www.iqiyi.com/l_19rrdfaczv.html

　　为期 13 周的北大 AI 公开课转眼来到了最后一讲，如课程的组织者和主讲人、北大人工智能创新中心主任雷鸣老师所说，“十三讲的内容给大家带来了一个比较完整的 AI+ 产业的体验”。

　　从无人驾驶到智能医疗，从嵌入式系统到通用 AI，新智元也和听众、读者朋友们一起，全景式地领略了 AI 对社会生活方方面面带来的影响和改变。

　　在这最后一讲上，英伟达自动驾驶业务中国区负责人董方亮亲临现场，与雷鸣老师一道，就 GPU 的演进历程、 GPU 和深度学习的关系、AI 技术在各产业的应用等问题展开了深入的讨论和交流。

　　GPU 与 Deep Learning 紧紧地被绑在一起

　　雷鸣：我们很高兴邀请到董方亮先生为我们介绍一下 GPU 的发展，以及从深度学习角度，或者从GPU 角度来看整个 AI 产业的发展。董方亮在英伟达已经工作很多年了，目前负责AI 和自动驾驶方面的工作，并且在 GPU 的研发、设计上也有多年的经验，我们今天非常高兴地把他请过来跟大家分享一下现在最火的话题——GPU，那么下面有请大家以热烈的掌声，欢迎董老师给我们讲讲，谢谢！

　　董方亮：首先很感谢北大，很感谢雷老师组织了这么好的机会，能让我能站在这里给大家分享和交流一下英伟达在 GPU 和 deep learning 方面的一些积累和工作。今天很荣幸能站在这里。今天的交流大概分成四个部分：1）对 GPU 进行一个简单介绍；2）将 GPU与 deep learning 相联系；3）探讨当今时代的 AI，以及今后的AI会朝什么方向发展；4）分享英伟达 GTC 2017年的大会和大会之后我自己的收获。

　　今天在场很多人都打过游戏吧，基本上打游戏的人都知道 GPU，因为英伟达最早是做视觉计算的公司，我们公司的创始人最早就要去做一个不同于CPU 的产品，创造一个gaming的市场。

　　我下面再说一个话题，可能大家不一定知道，那就是北大对 GPU 的贡献。其实在座的各位北大的天之骄子应该感到很自豪，因为GPU 的发展有一个很重要的技术叫 Pixel Shader（像素着色器），像素着色器是决定了今天能够做gaming、video 等很多呈现在大家面前功能的技术之一。核心的发明人是北大本科 87 级或 88级物理系的一位同学，所以北大人应该非常骄傲。北大对 GPU 的技术发展起到了很关键的作用。我相信很多同学可能不知道！

　　我们现在开始做一个 gpu 的介绍。

　　介绍 GPU 的时候我顺便也讲一下英伟达，英伟达是一家以 GPU技术为核心的公司，从成立那天起就做 GPU，到今天也在做 GPU。我们公司从一个视觉计算的公司转变到今天 AI 计算的公司，这一转变当然有时代的原因：1）现在产生大量数据，其中有很多的语音、图像数据；2）在人工智能方面，我们的一些基础研究有了长足的发展，同时在基于DNN（深度神经网络）架构上也有不错的发展，与现在 CPU 的计算模式不同。为什么 GPU非常合适于今天的AI的计算，也就是 deep learning？

　　这一页展示的是 GPU 计算年谱，我们也看到英伟达在 06年的时候做了一个CUDA（computing unifieddevice architecture）,核心意思是，GPU 是一个多核的计算体。我们如果能用一套架构把计算核完整、方便地调动起来，就形成了并行计算的基础。CUDA 包含了从底层到应用层完整的 SDK，公司之前就已经做了并行计算的充分准备。从 06年到现在，英伟达每一代产品，都原生地支持 CUDA。年谱中有另一个重要的时间点——2012年，当时 AlexNet 用 GPU 做了一个9 层的 DNN 架构来做图像识别，取得了很好的效果。2012年可以认为是 GPU 应用于 deep learning 的爆发元年。随着时间的发展，DNN 不断演进。在各类 framework 不断演进的今天，GPU 与 deep learning紧紧地被绑在了一起。

　　如今，摩尔定律是否能够适应如今崭新的计算架构？摩尔定律是以蓝线表示，有一个难以突破的平台期。主要难点之一在于，线程做的比较小会有很大的挑战。但是deep learning 还在不断发展，因此需要全新的架构支持，并且需要沿着比摩尔定律更高的计算量趋势发展，才能匹配全新的计算模式，才能在 AI 时代体现良好的计算能力。

　　我们预计到 2025年，GPU 有很大的需求量。GPU 时代兴起的原因在于，GPU 提供了与之前 general purpose computing 不同的模式。我们可以看到，在屏幕左边，底层是CUDA，上面是系统，算法和应用。GPU 在支撑全新架构的前提下，能够支撑现有的计算力。

　　我们可以对 CPU 与 GPU 做一个简单的比较。GPU 与 CPU 的特点不同，GPU是一个简单的多核处理器，再结合CUDA之后，很有利于做并行运算。这是GPU的简单架构，当然也有很多有特色的东西，包括多个streaming multiprocessor，即流的多处理器，上面会包int F16,F32,F64的处理核。因此，GPU很适合做并行运算。

　　Deep learning 是并行运算很好的应用场景。这是一个简单的神经网络。可以与大家简单分享一下我们为何这么设计 deep learning 的网络。最早，是对于人脑假说性的理论模拟。70 年代，两位德国的生物学家解剖猫的大脑时，认为神经元是一层一层的，神经元之间有反射弧，他们假说当电流通过神经元之间的反射弧时，是一个激活的状态。他们提出了一套理论。之后，在DNN 架构出来之后，用 DNN 做具有特征的数据识别，有良好的效果。前层的 layer 是后层的浅层表现，因此带有 pattern 的语音、图像数据能够分类。在深度神经网络中，每一个节点都可以被模拟成计算核。GPU承担了每一个深度神经网络节点的计算，这也是 GPU 符合 DNN架构的原因。因此，GPU是线下训练的唯一选择。

转载请注明出处。