图：pixabay

　　正如我们之前所报道的那样，Google上周在Google I/O大会上推出了第二代TensorFlow Processing Unit（TPU2）。Google称这个新一代产品为“Google Cloud TPUs”，但仅仅提供了关于TPU2芯片和使用它的系统的很少的一部分信息，只有几张彩色照片。图片能够表达的信息是远远多于语言的，所以在这篇文章中，我们将对照片进行深入挖掘，并基于图片和Google仅提供的几个细节来发表我们的见解和看法。

　　首先，Google不太可能出售基于TPU的芯片、主板或服务器——TPU2是Google内部专属的产品。Google只能提供两条通道来直接访问TPU2硬件，一条是通过TensorFlow Research Cloud（TRC），这是一项“高度选择性”项目，旨在使研究人员可以分享他们关于TPU2可加速的代码类型的发现，另一条是通过Google Compute Engine Cloud TPU Alpha，我们假设这个方案也是高度选择性的，因为这两条市场化路线共享一个注册页面。

　　Google专门设计了TPU2，以加速深度学习工作负载背后面向消费者的软件，如搜索，地图，语音识别以及无人驾驶车辆训练等研究项目。我们对Google TRC目标粗略定位为，Google希望招募研究团体，以寻找能够与TPU2 hyper-mesh更好匹配的工作。Google表示，TRC项目在开始的时候是小型的，但随着时间的迁移会慢慢扩大。我们将无法直接访问tpu2直到谷歌的研究推广找到更普遍的应用，并且Google将TensorFlow硬件实例作为谷歌云平台公共云中的基础架构。

　　Google为深度学习和分类任务设计的原TPU——运行模式已经被训练在GPU上。TPU是通过两个PCI-Express 3.0 x8边缘连接器连接到处理器主板的协处理器（参见下面两张照片的左下角），总共有16 GB / s的双向带宽。TPU消耗高达40瓦，远高于PCI-Express电源规格，并为8位整数运算提供92兆操作（TOPS），或为16位整数运算提供23 TOPS。为了进行比较，Google声称TPU2在每秒45兆浮点运算（teraflops）时达到峰值，大概是FP16运算精度。

　　TPU没有内置的调度功能，也不能被虚拟化。它是一个直接连接到一个服务器主板的简单矩阵乘法协处理器。

　　Google的第一代TPU卡：A，无散热片；B，带有散热片

　　在主板处理能力或其PCI-E 吞吐量超负载前，Google从不会透露有多少TPU连接到一个服务器主板。协处理器只需要做一件事，它需要以任务设置和拆卸的形式，从主机处理器获取大量信息，并管理每个TPU数据的传输带宽。

　　Google已将其TPU2设计用于四机架机柜，Google将其称为pod。机柜是相对于一组工作负载的标准机架配置（从半机架到多机架）。机柜有助于大型数据中心所有者更轻松，更便宜的进行购买，安装和部署。例如，Microsoft的Azure Stack标准半机架将会是一个机柜。

　　四机架机柜大小主要取决于Google正在使用的铜缆类型和全速运行的最大铜线运行长度。下图显示了机柜的高层次组织。

　　我们首先注意到，Google通过两根电缆将每个TPU2板连接到一个服务器处理器板。可能的是，Google将每个TPU2板连接到两个不同的处理器板，但即使Google也不希望混淆该拓扑的安装，编程和调度复杂性。如果在服务器主板和TPU2板之间存在一对一的连接，则要简单得多。

　　Google的TPU2 stamp ：A是CPU机架，B是TPU2机架，C是TPU2机架，D是CPU机架; 固体箱（蓝色）：机架不间断电源（UPS）; 虚线框（红色）是电源; 和虚线框（绿色）：机架式网络交换机和机架式交换机顶部

　　Google显示其TPU2 stamp的三张不同的照片，所有三张照片的配置和布线看起来都一样。TPU2布线的Garish颜色编码有助于进行此比较。

　　三个Google TPU2机柜

　　Google公布了TPU2板的顶视图，以及该板的前面板连接器的特写。TPU2的四个板象限中共享板配电系统。我们认为四个TPU2板象限也通过一个简单的网络交换机共享网络连接。它看起来像每个电路板象限是一个单独的子系统，而这四个子系统在电路板上没有彼此连接。

　　TPU2板的顶视图：A是四个带散热片的TPU2芯片; B是每个TPU2两根BlueLink 25GB / s电缆; C是每个板的两条全向路径架构（OPA）电缆; D是电源连接器的背面，E最有可能是网络交换机

　　前面板连接看起来像一个QSFP网络连接器，其两侧有四个方形横截面连接器，这是我以前没有看到的。IBM BlueLink规范在最小25 GB / s配置（称为“子链路”）中的每个方向（总共16个通道）上定义了八个200 Gb /秒信号通道。Google是OpenCAPI的成员，也是OpenPowerFoundation的创始成员，所以BlueLink是有道理的。

　　TPU2前面板连接

　　电路板正面中心的两个连接器看起来像带有铜双绞线的QSFP型连接器，而不是光纤。这就提供了两个选择——10 Gb /秒以太网或100 Gb /秒英特尔全向路径架构（OPA）。两个100 Gbps OPA链路可以组合成一个25 GB / s的聚合双向带宽，这与BlueLink速度是相匹配的，所以我们认为它是Omni-Path。

转载请注明出处。