十年磨一剑：为什么谷歌TPU芯片可以“吃”苹果？

在 ChatGPT 在谷歌诞生之前，世界人工智能发展的重要浪潮已经用自己的力量掀起，而谷歌却传遍了全世界。 AlphaGo 在 2016 2008年，韩国围棋手李世石在“人机大战”中被击败。在这背后，支持 AlphaGo “超脑”运行 TPU 芯片尤为重要，而且还在不断迭代和完善。

尽管 TPU 最初是为内部工作负荷而建立的，但是凭借多种优势，它不仅在谷歌内部得到了广泛的应用，而且成为了 AI 支柱，也受到苹果等科技巨头和多家大型创业公司的青睐和竞相应用。回头来看，TPU 在芯片诞生十年之际，逐渐从 AI 工业的边缘走向了舞台的中心。然而，因为 TPU 重点围绕基础设施 TensorFlow 和 JAX 建设，谷歌也在一定程度上面临着“技术孤岛”等挑战。

十年“跟随”人工智能创新

伴随着机器学习、深度学习算法的深入发展，工业界对高性能、低功耗的特殊应用 AI 计算芯片的需求增长迅速。但是，传统的通用 CPU 以及专攻图形加速、视频渲染等复杂任务 GPU 不能满足深度学习工作负荷的巨大需要，同时存在效率低下、专项计算有限等问题。

首席科学家谷歌 Jeff Dean “我们做了一些粗略的计算，如果每天有数亿人与谷歌进行三分钟的对话，我们需要多少计算能力？当时，我们很快意识到这基本上需要消耗谷歌部署的所有计算能力。换句话说，有必要将谷歌数据中心的计算机数量翻倍，以支持这些新功能。”

所以谷歌致力于探索更具成本效益、节能的机器学习解决方案，然后启动 TPU 项目，并于 2015 2008年宣布第一代 TPU 芯片（TPU v1)内部上线。TPU 它是一种特殊的集成电路 ( ASIC ) ，专门为单一特定目的而设计，包括运行构建 AI 基于矢量的模型所需的独特矩阵和数学运算。与 GPU 矩阵运算是不同的，PU 其矩阵乘法模块的标志性特征是（MXU）。

根据谷歌副总裁兼工程教授 Norm Jouppi 透露，TPU 整体的出现让谷歌省略了整体。 15 一个数据中心。对于 TPU 更具成本效益的一个重要原因是谷歌的软件堆栈垂直集成度比 GPU 更好。谷歌拥有一支专门的工程团队，为其构建整个软件堆栈，实现模型。（Vertex Model Garden）深入学习框架（Keras、JAX 和 TensorFlow）再到为 TPU 优化编译器（XLA）。

就性能而言，TPU v1 拥有 65536 个 8-bit MAC(矩阵乘模块)，峰值性能为 92 TOPS，以及 28 MiB 电影上的存储空间。相较于 CPU 和 GPU，TPU v1 具有良好的响应时间和能效比，能显著提高神经网络的推理速度。TPU v1 谷歌的成功使谷歌认识到：机器学习芯片具有广阔的发展前景，因此不断 TPU v1 在此基础上，迭代升级推出性能更高、效率更高的商品。

比如，TPU v2 和 TPU v3 设计为服务器 AI 推理和训练芯片，支持更复杂的芯片 AI 任务。TPU v4 扩展性和灵活性得到进一步提升，大规模支持 AI 建立计算集群。其中，TPU v2 首次将单个设计扩展到更多的超算系统，构建了由来 256 颗 TPU 芯片构成的 TPU Pod。此外，TPU v3 加入液体冷却技术，TPU v4 光学电路开关的引入，进一步提高了性能和效率。

2023 年，鉴于 TPU v5 谷歌直接跳到芯片受到“夸张”的质疑和争议， TPU v5e 版本。TPU v5e 对结构进行了调整，采用了单一的方法 TensorCore INT8结构 达到峰值算率 393 TFLOPS，超出 v4 的 275 TFLOPS，但 BF16 只有峰值算率 197 TFLOPS，低于前一代 v4 的水准。这表明 TPU v5e 更适合推理任务，也可以反映谷歌对于 AI 计算服务市场的战略选择。

在今年 5 月的 I/O 在开发者大会上，谷歌再次发布了第六代 TPU Trillium。谷歌云机学习，系统和云 AI 副总裁兼总经理 Amin Vadhat 表示，Trillium TPU 与上一代相比，峰值计算性能 TPU v5e 提升了 4.7 倍数以上，能效比较 TPU v5e 高出 67% 上述，高带宽内存空间和带宽是原来的两倍，芯片间的互连带宽也增加了一倍，这样才能满足更先进的需求 AI 系统需求。

值得注意的是，Trillium 可以在单个高带宽、低延迟 Pod 中间扩展到多达 256 个 TPU。使用谷歌现在 Pod 级别可扩展性，多切片技术和 Titanium 随着智能控制部件的进步，用户将能够链接数百个链接。 Trillium TPU 的独立 Pod，以构建 PB 超级计算机和数据中心网络。

总体来看，TPU 技术规范的优点是具有更加集中的架构模式。多个板与同一板连接 GPU 不同，TPU 通过正方体组织，可以进行更快的芯片间通信，并与博通深度合作，大大提高了通信速度。另外，在特殊情况和用例需求下，可以更快地推动产品优化和迭代。但由于 TPU 重点围绕基础设施 TensorFlow 和 JAX 建筑，而行业更主流的是采用建筑， HuggingFace 模型和 PyTorch 通过创新，谷歌在某种程度上也面临着“技术孤岛”的问题。

获得苹果和大量 AI 创企选用

就应用而言，谷歌 TPU 该项目最初是为内部特定需求而建立的，并立即在各个部门得到广泛应用，并成为 AI 其中最完善、最先进的定制芯片之一。根据谷歌机械学习硬体系统首席工程师 Andy Swing 回忆起来，他们原本的估计只是不能制造。 1 万只 TPU 但是v1的最终生产已经超过了 10 应用范围包括广告、搜索、语音、语音、AlphaGo，甚至是自动驾驶等诸多领域。

伴随着性能和效率的不断发展，TPU 谷歌的芯片逐渐成为 AI 基础设施和几乎所有的产品 AI 支柱。例如谷歌云平台被广泛使用 TPU 芯片支持它 AI 这些芯片用于加快机器学习模型的实践和推理过程，提供高性能、高效率的计算能力。顾客可以通过谷歌云平台访问。 TPU 虚拟芯片案例（VM），用来练习和部署自己的机器学习模型。

尽管谷歌在云服务方面获得了良好的用户基础，但并未直接向用户销售硬件。业界分析指出，谷歌正与 OpenAI 就生成性 AI 如果销售，进行残酷的竞争 TPU 也许“两头战斗”并不是目前最明智的战略，它将面临挑战英伟达。与此同时，直销硬件涉及到昂贵的支出和复杂的供应链管理，并通过云服务提供 TPU 可简化安装、部署和管理流程，减少不确定性和额外费用。

另外，谷歌云与英伟达的密切合作也需要考虑。谷歌不仅在内部使用英伟达 GPU，也为其云服务平台提供基于英伟达的服务平台 GPU 为满足客户对高性能计算和高性能的服务 AI 应用需求。

诚然，英伟达 AI 芯片已成为科技巨头的“必争砝码”，但业界也在探索更加多样化的选择。但是在内部得到广泛应用的同时，谷歌也在尝试依靠它。 TPU 紧跟人工智能创新，为更多客户提供创新 AI 服务。Andy Swing 表示，“我们采用了 TPU 和 pod 为了更好地满足需求，设置地点最符合当前数据中心的能力，但是我们正在改变数据中心的设计。所以，今天准备的解决方案和明天的解决方案会有很大的不同，我们正在构建一个充满活力的解决方案。 TPU 全球数据中心网络。"

现在，世界上已有许多科技公司使用谷歌。 TPU 芯片。例如，苹果承认使用谷歌。 TPU 对其人工智能模型进行训练，并称“这一系统使我们能够高效、可扩展地训练 AFM 模型，包含 AFM 设备端、AFM 以及更多的服务器模型。“根据苹果的说法，苹果在 8192 块 TPUv4 从无到有的芯片培训服务器 AFM，使用 4096 序列长度和 4096 一个序列的批量大小， 6.3 万亿 token 训练。此外，端侧 AFM 在 2048 块谷歌的 TPUv5p 在芯片上练习。

其他数据显示，超过 60% 获得融资的生成式 AI 创业公司和近 90% 生成式 AI 谷歌是独角兽使用的 Cloud 的 AI 基础设施和 Cloud TPU 服务，并广泛应用于社会经济的各个领域。

比如 Anthropic、Midjourney、Salesforce、Hugging Face 和 AssemblyAI 等知名 AI 创造企业被广泛使用 Cloud TPU。在这些人中，作为“ OpenAI 强敌"，Anthropic 使用谷歌 Cloud TPU v5e 芯片是它的大语言模型 Claude 为加快模型练习和推理过程提供硬件支持。另外，许多科研、教育机构等也在使用谷歌。 TPU 芯片支持它 AI 有关研究项目。这类机构可以借助 TPU 高性能计算能力的芯片可以加快实验过程，从而促进前沿科研和教育的发展。

值得注意的是，根据谷歌官方资料，其最新信息 TPU 使用费用不足一小时。 2 美元，但是客户需要提前三年预订才能保证使用。这样可能会给大型企业在复杂多变的行业带来更大的挑战。

不管怎样，TPU 十年之路成功证实除了 CPU、GPU，业内在追求 AI 还有一条新的路面需要计算率，同时也成为谷歌几乎所有产品中的一条 AI 支持谷歌功能的关键 DeepMind 高级基础模型甚至整个大模型产业的快速发展。将来，随着 AI 随着技术的不断进步和市场的不断扩大，更多的企业可能会选择使用谷歌。 TPU 为了满足它，芯片 AI 计算需求。但 AI 硬件也可能更加专业化，这将使硬件与模型的结合更加紧密，从而难以跳出框架，找到新的创新概率。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com