未来英伟达的GPU短缺还会继续吗，瓶颈是什么？

Open从2022年11月开始。 自ChatGPTAI发布以来，生成式AI(人工智能)的需求已经在全球范围内爆发式增长。这个系列的AI应用正在配备NVIDIAI。 AI服务器上的GPU等AI半导体。

然而，TrendForce在中国台湾研究公司正在进行。 根据2023年12月14日的预测，AI服务器出货量的增长不会达到预期。预计2022年AI服务器仅占所有服务器出货量的6%，2023年为9%，2024年为13%，2025年为14%，2026年为16%。(图1)

图表1.服务器出货量，AI服务器比例，AI芯片晶圆比例。来源：TrendForce

这就是为什么它被称为人工智能半导体的限速供应。现在，NVIDIA的GPU垄断了约80%的AI半导体，在台积电生产。随后，CoWoS将被用来封装，但目前CoWoS的产量是个瓶颈。

另外，在CoWoS中，多个HBM(高带宽内存)被放置在GPU周围，这些HBM是堆叠的DRAM，这也被认为是瓶颈之一。

那为什么台积电的CoWoS呢？（Chip on Wafer on Substrate）生产能力持续不足怎么办？此外，尽管有三大DRAM厂商：三星电子、SK海力士、美光科技，但HBM为何不够？

这篇文章讨论了这些细节。NVIDIA GPU 等 AI 预计半导体短缺将持续多年或更长时间。

01 什么是台积电的制造步骤？

图 2显示了 NVIDIA 的 GPU 怎样制造台积电？第一，在预处理中，各自建立GPU、CPU、内存（DRAM）等一下，因为台积电没有生产DRAM，所以好像是从SK海力士等DRAM制造商那里得到了HBM。

图2.2.5D 到 3D 其中存在的制造工艺。来源：Tadashi Kamewada

下一步，GPU、CPU、将HBM等粘合到“硅中介层”上（Chip on Wafer，或者CoW)。硅中介层有事先形成的走线层和硅通孔。(TSV)用来连接芯片。

此步骤结束后，将中介层贴在基板上（Wafer on Substrate，简称WoS)，进行各种测试，CoWoS封装完成。

图3显示了CoWoS的横截面结构。两个逻辑芯片(例如 GPU 和 CPU）并且有堆叠式 DRAM 的 HBM 将硅中介层粘合在一起，在硅中介层上形成有走线层和 TSV。中介层通过铜沉孔与封装基板连接，基板通过封装球与线路板连接。

图3.NVIDIA结构和CoWoS AI半导体的两个瓶颈，如GPU。来源：WikiChip

这里，我们认为第一个瓶颈是硅中介层，第二个瓶颈是HBM，这就是NVIDIAIA的原因。 GPU短缺的原因。

02 硅中介层的尺寸变得非常大

图 4 显示了自 2011 年至今 CoWoS 更换情况。第一，我们可以看到，每一代硅中介层都变得非常大。另外，安装 HBM 数量也随之增加。

图表4。每一代HBM的转接面积和安装次数都在增加。来源：台积电

图 5 显示了从 CoWoS Gen 1 到 Gen 6 的 12 安装在英尺晶圆中 Logic 芯片类型、HBM 标准及安装数量，硅中介层面积及可获得的中介层数量。

图5. CoWoS 代次、HBM 安装数量、12 英尺晶圆转接层的数量。

可以看出，自第三代以来，HBM的安装数量已经增加了1.5倍。另外，HBM 标准也发生了变化，性能也得到了提高。另外，随着中介面积的增加，可以从 12 英尺晶圆获得的中介层数量减少。

但是，这一收集数量只是“将12英尺晶圆的面积除以中介面积获得数值”，实际收集频率要小得多。

2023 年发布的第 6 代 CoWoS 转接板面积为 3400 mm 2 ，但是如果我们假设这是一个正方形的话， 58 mm × 58 mm。假如把它放在那里 12 在英尺晶圆上，晶圆边上的所有转接层都会有缺陷。接着，一个58 mm × 58 mm中介层最多只能从 12 得到英尺晶圆 9 个芯片。

图6. 12英尺晶圆可以得到多少个转接层？来源：Tadashi Kamewada

另外，在中介层上形成了走线层和TSV，但是良率约为60~70%，因此从12英尺晶圆上可获得的良好中介层数量最多为6个。

这个转接板是用这个转接板做的。 CoWoS 的代表性 GPU 是 NVIDIA “H100”，它在市场上竞争激烈，交易价格高达 40,000 美金。

03 CoWoS产能不足的台积电

那台积电的CoWoS制造能力有多大呢？

在 2023 年 11 月 14 日举行的 DIGITIMES 研讨会“生成式” AI 浪潮中 2024 2023年全球服务器市场挑战与机遇显示， 第二季度产能为每月产能。 13K~15K 零件。根据预测，2024 第二季度月产量将翻倍到第二季度 30K~34K，然后缩小 NVIDIA GPU 供需缺口。

不过，这一前景还很遥远。因为，到目前为止。 2024 年 4 月，NVIDIA 仍然不够 GPU。在4月16日的新闻中，TrendForce集邦咨询表示，到2024年底，台积电的CoWoS产能将达到每月40K左右，到2025年底将翻一番。

另外，TrendForce集邦咨询报道称，NVIDIA将发布B100和B200，但是这些转接板可能比较 58 mm × 58 mm更大。这意味着可以从12英尺晶圆上获得的优质中介数量将进一步减少。因此，即使台积电试图增加CoWoS产能，也无法生产足够的GPU来满足要求。

这款GPU 无论走多远，CoWoS中介层的巨大和台积电产能的提高都是无止境的。

有些人推荐使用515×用12英尺晶圆代替510毫米棱柱形有机基板作为中介层。此外，美国英特尔公司还推荐使用矩形玻璃基板。当然，如果能使用大型矩形基板，大量中介层可以比圆形12英尺晶圆更有效。

但是，如果你想在矩形基板上形成一个行走层和TSV，你需要一个特殊的制造设备和传输系统。考虑到这些准备工作，需要时间和金钱。接下来，我们来解释一下HBM的情况，这是另一个瓶颈。

04 HBM 的路线图

如图 4 和图 5 所示，HBM 的总数随着 CoWoS 随着产生和增加，这也导致了巨大的中介层。DRAM制造商不应该继续生产相同标准的HBM。伴随着 CoWoS 的发展，HBM 各种性能都需要改进。HBM 路线图如图所示 7 所示。

图 7.HBM 路线图和 HBM 堆叠的 DRAM 数量来源：来源：DIGITIMES Research

首先，HBM 为了配合每秒交换数据，必须提高带宽。 GPU 特性的提升。具体而言，2016 年 HBM1 的带宽为 128 GB/s，而 HBM3E 大约会扩大带宽 10 倍，达到 1150 GB/s，将在 2024 年发布。

接下来，HBM 的内存空间 （GB） 必须增加。所以，有必要把堆放在一起。 HBM 里的 DRAM 芯片数量从 4 个增加到 12 个。下一代 HBM4 的 DRAM 预计将达到层数 16 层。

此外，HBM 的 I/O 速率 （GB/s） 还必须改进。为实现所有这些目标，我们应该不惜一切代价实现DRAM的小型化。图8显示了DRAM销售比例的变化，根据技术节点进行区分。2024 年将是从 1z （15.6 nm） 转换到 1α （13.8 nm） 的一年。之后，微型化会以 1 nm 例如，增加增量 1β （12.3 nm）、1γ （11.2 nm） 和 1δ （10 nm）。

图表8.DRAM销售百分比按技术节点区分。来源：Yole Intelligence

在这一代DRAM芯片中，括弧中的数字是实际存在的最小加工尺寸。

05 DRAMM也逐渐应用EUV

为了实现高集成度和速度，DRAM制造商必须以1nm的增量进行微型化。所以，EUV(极紫外线)光刻技术已经开始应用于形成精细图案(图9)。

图9.EUV层数由DRAM制造商使用。来源：Yole Intelligence

最早在 DRAM 中应用 EUV 公司是三星，现在 1z 代中只使用了一层。然而，这只是借用了三星逻辑代工厂的一个月最大产量。 10,000 晶圆非常大 DRAM 实践生产线 EUV 应用。所以，从真正的意义上说，三星只是 1α 年开始在 DRAM 中应用 EUV，那时它是五层 DRAM 中使用了 EUV。

其次是在 HBM 该领域的市场份额排名第一 SK hynix，它在 1α 在生产过程中应用 EUV。该公司计划在那里 2024 年转为 1β，也有可能应用于三至四层。 EUV。所以，到目前为止只有几个 EUV 单元的 SK hynix 将在 2024 年以前推出 10 个 EUV 模块。三星公司也拥有逻辑代工厂，被认为拥有超过 30 个 EUV 模块。

最后，美光公司一直奉行尽可能少的使用。 EUV 为了比其他任何地方都更快地推动其技术节点，战略。事实上，美光在 1 β 以前没有使用过 EUV。它还计划在开发过程中， 1 γ 时不使用 EUV，而是使用 ArF 沉浸 多种图案技术，但是因为它发现很难提高效益，因为没有更多的匹配空间，所以预计会在 1 γ 开始引入 EUV。

这三家 DRAM 目前，制造商正试图使用镜头孔径。 NA = 0.33 的 EUV，但是根据他们的感觉，他们正在考虑。 2027-2028 年起改用高 NA。因此，DRAM 制造商的小型化进程仍然会越走越远。

现在，有多少 HBM 将采用这些最先进的工艺生产？

06 DRAM 出货量和 HBM 出货量

图 10 显示了 DRAM 出货量、HBM 出货量以及 HBM 占 DRAM 出货量的百分比。例如本节开头上述，ChatGPT 于 2022 年 11 每月发布，从而使英伟达企业 GPU 在 2023 每年都有重大突破。

图10.DRAM 出货量、HBM 出货量和 HBM 所占百分比。来源：Yole Intelligence

与此同时，HBM 出货量也在快速增长：HBM 的出货量从 2022 年 27.5 亿美元(3.4%)增长到 2023 年 54.5 亿美元(10.7%)，几乎翻了一番，直到 2024 一年更是翻了一番，实现了。 140.6 亿美元(19.4%)。

从 DRAM 根据出货量，2021 年由于对 Corona 达到高峰的特殊要求，但 2023 2008年这一特殊要求结束后，出货量急剧下降。从那以后，出货量有望恢复，而且 2025 年超出 2021 年峰值。此外，从 2026 从2008年开始，出货量有望继续增加，尽管会有一些起伏， 2029 年将超过 1500 亿美金。

另一方面，HBM 预计出货量将在那里 2025 年后继续增长，但是 HBM 在 DRAM 在出货量中所占的份额将在 2027 年后达到 24-25% 饱和状态。为什么会这样？

07 各种 HBM 发货数量和 HBM 发货总量

如图 11 通过观察各种各样的东西 HBM 的出货量和 HBM 总出货量，能揭开谜底。

图11.各种 HBM 和所有 HBM 出货量。来源：Yole Intelligence

首先，在 2022 年前，HBM2 这是主要的出货量。其次，2023 2008年，英伟达 GPU HBM2取得重大突破E 替代 HBM2 成为主流。另外，HBM3 将在今年 2024 至 2025 年代成为主流。2026-2027 年，HBM3E 它将成为出货量最大的商品，而从 2028 年初，HBM4开始 将扮演主角。

也就是说，HBM 大约两年的间隔将经历几代人的变化。这意味着 DRAM 制造商必须继续这样做 1 纳米为单位进行小型化，每两年更新一次。 HBM 标准。

因此，如图 11 所示，2025 年后全部 HBM 出货量几乎不会增加。那不是因为 DRAM 制造商之所以放松，是因为他们必须尽最大努力生产最先进的产品。 DRAM 和最先进的 HBM。

此外，2025 年后 HBM 其中一个原因就是出货量没有大幅增加。 HBM 里的 DRAM 芯片数量将增加(图表) 12）：随着 GPU 特性的提高，HBM 的内存空间（GB）还必须增加，所以堆叠在一起 HBM 2 和 HBM2E 里的 DRAM 数量会增加。HBM2 和 HBM2E 中堆叠的 DRAM 数量将增加到 4-8 个 DRAM，HBM3 和 HBM3E 中堆叠的 DRAM 数量将增加到 8-12 个，HBM4 中堆叠的 DRAM 数量将增加到 16 个。

图12.每个 HBM 的内存空间（GB）和 HBM 里的 DRAM 芯片堆叠数量。来源：Yole Intelligence

这意味着 HBM2 只需 4 到 8 个 DRAM，而 HBM4 将需要 2 到 4 倍的 DRAM，即 16 个 DRAM。也就是说，是的 HBM4 时代，DRAM 制造商可以生产比例 HBM2 多 2-4 倍的 DRAM，但是出货量还是和 HBM 相同。

因此，随着 DRAM 继续以 1nm 增量减少，HBM 两年换一代，HBM 中堆叠的 DRAM 每一代人的数量都在增加，估计从 2025 年起，HBM 总出货量将达到饱和。

那么，HBM 短缺是否会持续下去？DRAM 制造商是否不能进一步增加？ HBM 的出货量？

08 DRAM 制造商急于大规模生产 HBM

我们已经解释过了 DRAM 制造商不能大幅上升 HBM 出货量的原因，但是 DRAM 制造商仍然可以达到他们的极限，如果超过这一极限，他们将尝试大量生产。 HBM。这是因为 HBM 价格非常高。

图 13 显示了各种 HBM 与普通 DRAM 的每 GB 均价。一般 DRAM 和 HBM 在发时的每 GB 价钱是最高的。虽然趋势是一样的，但是一般 DRAM 和 HBM 的每 GB 价格相差 20 倍以上。为更普通的目的 DRAM 和 HBM 的每 GB 均价，图 13 里面的图表显示一般 DRAM 的 10 倍价格。

图13.各种 HBM 与普通 DRAM 的每 GB 比较均价。来源：Yole Intelligence

与一般 DRAM 的 0.49 与美元相比，比较每一种 GB 在刚发布的最高价格中，HBM2的价格， 的每 GB 价格大概是一般的 DRAM 的 23 倍（11.4 HBM2，美元)E 的每 GB 价格大概是一般的 DRAM 的 28 倍（13.6 美金），HBM4 的每 GB 价格大概是一般的 DRAM 的 30 倍（14.7 美金）。

此外，图 14 显示了各种 HBM 均价。最高价格 HBM2 为 73 HBM2美元E 为 157 HBM3美元 为 233 HBM3美元E 为 372 HBM4美元 则高达 560 美金。

图14.各种 HBM 与标准 DRAM 的每 GB 比较均价。来源：Yole Intelligence

图 15显示了 HBM 例如，DRAM制造商在1z工艺中生产的16GB DDR5 最多3~4美元的DRAM。然而，SK海力士今年发布的HBM3E价格比361美元高出90~120倍。

DDR(双倍数据速度)是一种内存标准。DDR5传输速度越来越快。 的速度是 DDR4 DDR6的两倍 的速度是 DDR5 的两倍。2024 年将是 DDR4 向 DDR5 变化的一年，DRAM 制造商也必须不断创新 DDR 标准。

图表15.对比各种半导体工艺、芯片尺寸、晶体管数量(位数)和均价。

回到 HBM，HBM3E 芯片尺寸和最新 iPhone 17 的 A15 仿生 AP(应用处理器)基本相同，后者选择最先进的台积电。 3nm 工艺生产，但是价格比较高 3.6 倍数。DRAM的HBM高于高级逻辑。那是令人震惊的。而且因为价格这么高，DRAM厂商为了主导HBM的霸主地位，会尽最大努力增加出货量。

让我们看一下三家DRAM制造商的路线图。

09 DRAM 制造商争夺 HBM

图 16显示了 2015~2024 年三家 DRAM 怎样生产厂家？ HBM。

图16. SK 海力士，三星和美光 HBM 路线图。 来源： DIGITIMES Research

HBM1 第一次成功量产是 SK 但是，就HBM2而言，三星率先实现了与SK海力士相比的量产。 NVIDIA 的 GPU 在 2023 SK海力士在2008年取得重大突破时，率先成功量产HBM3。它给SK海力士带来了巨大的好处。

另外一方面，另一个 DRAM 制造商美光最初开发和发展 HBM 不同的混合内存正方体标准 （HMC）。但是，联合电子设备工程委员会 （JEDEC） 这是一家促进美国半导体规范化的行业组织，已经正式认证。 HBM 标准而不是 HMC。所以，从2018年开始，美光放弃了HMC的研发，进入了HBM的研发，远远落后于两家韩国制造商。

所以，HBM 在市场份额中， SK 海力士为 54%，三星为 41%，美光为 5%。

SK海力士的HBM份额最大，将于2023年开始在其NAND工厂M15生产HBM。另外，HBM3E 将在 2024 年度上半年发布。另外， 2025 2008年，目前正在建设中。 M15X 工厂会专门给予 HBM 为了生产而重新设计 HBM3E 和 HBM4。

另一方面，三星计划在2023年开始在三星显示器厂生产HBM，以赶上SK海力士。2024年，HBM的生产能力翻了一番，并于2025年在SK海力士之前量产了HBM4。

在2024~2025年绕过HBM3，与HBM3E竞争，并在2025年获得20%的市场份额，这是一个落后的目标。另外，到2027~2028年，该公司还设定了赶上韩国两大厂商在HBM4和HBM4E量产方面的目标。

通过这种方式，三家DRAM制造商之间的残酷竞争可能会突破HBM出货量的饱和，从而消除HBM的短缺。

10 NVIDIA的GPU短缺会持续多久？

我们在这篇文章中解释了 NVIDIA GPU 等 AI 全球半导体短缺的原因。

1、NVIDIA 的 GPU 选择台积电 CoWoS 包装制造。CoWoS的容量完全不够。这是因为配置 GPU、CPU 和 HBM 每一代芯片硅中介层都越来越大。台积电试图增加这一中间工艺的容量，但是随着GPU一代的推动，中介层也会变得很大。

2、CoWoS 的 HBM 紧缺。造成这种情况的原因是DRAM制造商必须继续以1nm的增量进行微型化，HBM标准被迫每两年更换一次，并且随着每一代人的增加，HBM中堆叠的DRAM芯片数量也会增加。虽然DRAM制造商正在尽最大努力生产HBM，但是预计2025年后出货量将会饱和。但是，由于HBM的价格非常高，DRAM制造商之间的竞争非常激烈，这可能会导致HBM短缺。

如上所述，造成瓶颈的瓶颈有两种 NVIDIA 的 GPU 供不应求：台积电生产能力短缺和 HBM 供不应求，但是这些问题不太可能在大约一年内解决。所以，预计未来几年 NVIDIA 的 GPU 短缺将继续下去。

本文来自微信公众号“半导体产业纵横”（ID：ICViews），作者：汤上隆，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com