围剿英伟达

2024-08-03

文|邱晓芬


采访|邱晓芬 杨逍


编辑|苏建勋 杨轩


抵抗


上海张江的一个秘密微信群 AI 芯片公司的人口口相传。这个群体的名字叫“国产芯片抱团取暖群”。国内芯片公司的员工必须加入这个群体。在这里,即使是竞争对手也会交换信息,交换商业资源。


“国产芯片集团供暖群”选择了一个停火区,同行可以稍微停战,互相帮助,只是因为每个人都有一个共同的敌人:英伟达。


因为英伟达的出现,国内芯片公司的销售,多少尝到了一点屈辱的味道。


李明(化名)是一家国产企业 GPU 企业销售,本轮销售 AI 当热潮掀起时,他自信地去见顾客,可来不及打招呼,顾客开口就是连环追问:


"你的物品,和英伟达 A100 与芯片相比,什么差距?英伟达有什么区别? NVLink,你有什么?"(作者注:NVLink 是把多个 GPU 芯片连接起来,防止 GPU 的数据搬至 CPU 计算,以提高计算效率)


看到用产品和技术打动不了客户,李明团队开始想办法找关系,找“更有实力的人”游说,但客户还是挥挥手,“我们还是想用英伟达”。


英伟达 A100,826 在平方毫米的面积上,塞塞了。 540 一亿次晶体管,就是打开 AI 大型魔盒的钥匙。


大型训练,如在海量数据中“炼药”,旨在找出数据变化的规律;而且用英伟达芯片训练大模型,就像让数亿智力一样。 200 有些人来算术,而其他芯片效果,只相当于找到了成千上万的智力。 100 人们来计算。


英伟达 A100 图片来自英伟达官网


顶级科技公司,都在疯狂抢购英伟达。谁拥有最多的英伟达高档? GPU,任何人都可以训练出更聪明的大模型。


公开信息显示,OpenAI 现在掌握了世界上最多的英伟达高档 GPU,至少有五万片;谷歌,Meta 也是万卡集群的所有者(2.6) 万左右);但是在中国很少有英伟达高档高档高档。 GPU 万卡集群的互联网厂商是字节跳动(1.3 万)。


英伟达垄断了世界产业链上最好的资源——拥有台积电最先进的芯片制造能力,吸引了世界上最大的工程师用户,掌握了很多。 AI 企业的计算命脉。


绝对垄断,通常会滋生不满、愤怒和逃避。


“今天,所有的模型都很大,基本上都是严重的亏损!只有一个在赚钱!英伟达”,一个业内人士语气不平。——“英伟达的利润率让每个顾客都感到不舒服,非常有害。 AI 行业!"。


财务报告显示,英伟达毛利率达到 71%,其中,热门产品 A100 和 H100 系列,毛利率高达 90%。作为一家硬件公司,英伟达实际上比互联网软件公司拥有更高的毛利率。


高价格暴利,让英伟达的大客户开始逃离。7 月 30 日本,苹果宣布其 AI 模型用 8000 片谷歌 TPU 来训练,而英伟达的含量是 0;消息一出,7 月 31 日前,英伟达股票下跌超过 7%,创下近三个月最大跌幅,市值蒸发。 1930 亿美金,拼多多几乎掉了下来。


近一年英伟达股价下跌图


对所有想在英伟达身上撕下一块肉的国内人来说。 GPU 企业而言,2022 2008年是一个转折点,美国发布了几轮禁令,英伟达迫于生计,在中国不断推出抽签版芯片,但却被迅速禁止:


2022 年 9 月,A100/H00 禁止向中国出口,英伟达推出了抽签版。 A800/H800;


2023 年 10 每月,A800/H800/L40/L40S/RTX4090 禁止向中国出口;


2024 年 6 月亮,英伟达创始人黄仁勋表示,将为中国推送抽签版。 L20、H20 芯片。


但是,抽签版引起了业界更加激烈的谴责。英伟达将要推送的 H20,虽然价格是英伟达。 H100 一半的性能只有前者的一半。 1/3。一位 AI 业内人士怒斥-”那不就是抢钱吗?纯粹的智商税!”


如果英伟达的用户开始不满和愤怒,那些想要取代英伟达的国产芯片公司,却在这种情绪中得到了“滋润”。


以前,他们只能跟着英伟达的屁股,难以分享一点蛋糕碎片。半导体分析企业 TechInsights 一个数据显示, 2023 年,英伟达在数据中心。 GPU 出货市场份额高达 98%,国产芯片和一批芯片巨头加起来,仅占微弱的 2%。


现在禁令来了,完美的英伟达在中国市场被撕开了一个口子,谁能取代英伟达?国产 AI 芯片制造商看到了生机。


“今年喀嚓,英伟达在中国。 90% 所有的市场都被释放,能不能抢到,各凭能力。",一个国产的 GPU 公司的创始人说。


36 氪曾在 2021 2008年发表了《深氪》|宁德时代:万亿电池帝国的差距,在动力电池行业,宁德时代一骑绝尘,被竞争者虎视眈眈。


如今,在 AI 在芯片领域占主导地位的英伟达也被很多同行视为肉刺和肉刺,但英伟达的区别在于它的堡垒更高,与对手的差距更大。


通过英伟达对手的抵抗,我们试图找到“英伟达的差距”,放眼望去。 GPU 行业,国产 GPU、AI 虽然芯片制造商的实力很弱,但是他们对中国市场的了解更多,玩法更本土化;比如英特尔,AMD 等待老牌芯片巨头,则有更多的粮草弹药,正面对英伟达。


英伟达短期内不会被击倒,但也不会毫发无伤,这注定是一场血腥的战争。


突围


要突破,就必须找出对手的弱点。英伟达的一个弱点是:傲慢。


芯片产业,本质上是一个 To B 软件行业。用户需要芯片厂商的“陪伴感”服务,比如调试硬件,适应软硬件,陪伴到位,客户就会有粘性,芯片产品就不容易更换。


但是很多国产芯片人士告诉我们 36 在中国市场,氪,除了像氪, BAT、像字节这样规模几十亿的大买家,其他大多数公司的营业额即使达到几千万,也很难从英伟达获得售后服务。


换言之,当使用英伟达芯片的中国工程师有疑问时,只能自己到英伟达官网搜索文档,或到社区自学。


与英伟达合作时,中国客户的许多需求往往得不到满足。一位芯片行业人士告诉我。 36 氪星和英伟达通常会在中国推广最高、最昂贵的整套方案,当客户提出针对特定场景的定制标准时,一般会被拒绝。客户买卡后,要“自己琢磨,或者找厉害的算法公司处理”。


英伟达的这种行为积累了很多中小客户的抱怨。前述人士表示:“英伟达作为一家大公司,不再像以前那样重视小客户。他们的产品没有挑战者,也不需要努力取悦客户。


但是在过去,英伟达生态的兴起实际上证实了服务对芯片行业的重要性:2006 年,CUDA 生态刚开始的时候,英伟达的产品和现在的国产芯片一样不好。然而,英伟达团队首先从高校的研究团队推出,然后渗透到各个子行业的创业公司进行软硬件适配,这使得它成为一个巨大的国家。


同时,中国芯片制造商也意识到了这一点,试图从客户服务入手。


国内某家不愿透露姓名 AI 芯片公司,2023 到目前为止,我们试图让后台的R&D人员来到一线进行个人服务——不仅要在现场联合调试,还要在销售订单后为客户拉一个有R&D人员的小团体。客户数量从几百万到几十万不等,可以享受。 7 × 24 小时咨询。


在英伟达中国大撤退之后,光提供本地化的贴心服务是远远不够的,芯片产业早就不简单了,芯片产品本身就是对抗。,更加考验各自对时间窗口期的掌握。像狼一样,中国的芯片制造商开始了轰轰烈烈的打单。


华为是最凶猛的。此前,华为联合讯飞发布了设备。「星火一体机」上面,就搭载了「昇腾 910B」。


这个芯片曾经被称为单卡能力“与英伟达比较” A100 "。不为人知的是,光鲜亮丽的案例背后艰难的一面—— 36 氪石了解到,华为为此不惜一切代价,准备了数百名工程师帮助讯飞调试参数。


华为和讯飞发布星火一体机,图源讯飞


虽然这个行业被称为“手工制作”,但是标杆案例一出,许多大型企业、互联网企业都向华为抛出了测试的橄榄叶。


一个国产芯片销售惊讶地发现,自去年以来, 7 从月份到现在,只要是招投标的智能计算率中心项目,就能看到华为等级不低的管理层驻扎在那里。“华为现在可以派几百人来服务一个项目,甚至有些关键项目会不惜赔钱从其他项目中获利”。


上述不具名的芯片公司,也配齐了。 200 著名的热血销售——在国内芯片行业,这是一个相当罕见的配置。他们的营销团队从大模型落地最热门的三个领域入手,金融、法律、工业几乎出现在每一个与计算率相关的展会上。 "芯片行业,资源第一,跑得慢就死了"。


一场秘密的国产芯片价格战也开始了。


一位芯片行业人士告诉我。 36 氪星,他们的目标是不惜一切代价赢得更多标杆智能计算中心的名单。36 氪金观察到,一些国产公司推理卡,为了降低成本,不惜将昂贵的推理卡 HBM(高带宽内存)取下,低于成本价格 50% 货物的价格是出货。


“无论如何,每个人都真诚地希望从各个切入点取得突破,从英伟达那里切一小块蛋糕,让英伟达不再是一家人。”


但是现实是残酷的,具体到产品、国产产品, AI 芯片不可避免地会出现各种问题。


一个芯片人向 36 举个例子:同样处理一个数据,使用英伟达。 A100 集体运行,也许只需十天,但是使用一些国产芯片商品,估计要几个月才能运行。国产芯片硬件积累的时间太短,而且缺乏先进的工艺,硬件上的差距,导致使用效率低下。


软件的缺点也很明显。另一位业内人士发现,当使用国产芯片运行大模型时,如果你想在上面做更多的酷炫应用,一旦基本大模型发生变化,国产芯片很容易卡住。“很多时候,国产芯片基本都是捏鼻子用的”。


现在,各家真正看清了面前的“围剿”战略,也逐渐分化出更加现实的路径:


虽然仍有少数学校继续前往万卡集群,专注于训练场景和英伟达,尤其是以摩尔线程和华为为代表;但更多的学校选择是,然后更加关注大模型。 / 从对硬件、软件要求不高的推理情况来看,小模型在各行各业都在落地,以消息原、天数智芯等为代表。


(36 氪注:大模型有两个环节:练习和推理:训练是从数十亿数据库中寻找规则的过程,"造"大型模型;推理是存在的"用"大型模型的过程,难度较小,对于软硬件要求较低、更紧密地与工业联系)


摩尔线程在 2024 在年度人工智能大会上,夸娥万卡集群发布 36 氪拍摄


一位芯片行业人士直言不讳地说:“我们现在没有盲目地追求英伟达,我们追不起,不敢盲目地做超大算力芯片。


国内芯片制造商的现实考虑之一就是英伟达。这里没有主要的能量,所以国内厂商避开了英伟达的正面战争。


此前,基于成本考虑,大多数公司采用英伟达消费级游戏显卡。 4090 跑步推理——这些卡片有很多问题:功耗太高,内存不足,被禁用。英伟达官方也不允许这些消费级显卡用于大模型推理。


国内芯片公司从英伟达的空白开始。今年,天数智能芯片和兖原都在大力推进对比。 4090 推理卡,打出大内存,低功耗,供应稳定的卖点。


国内芯片厂商也明确了找准细分市场的重要性。比如针对一些功耗敏感的场景,主要推广低功耗小芯片;或者进入视频优化等细分场景,做小而美的生意。


大战场,剑拔弩张


当国产 GPU 公司将“超越英伟达”写进去 PPT,这更像是一个美好的愿景。这些公司成立不久,就迎来了国内替代的风口浪尖。即使只超过一点,也被认为是壮举。英伟达是他们的对手,也是他们的标杆。


但是说到英特尔和英伟达一样,AMD,气氛更加紧张。


"在我们内部,英伟达被视为死敌",AMD 的一位 MI R&D系列产品线的人员告诉 36 氪。


在今年 6 台北电脑月展(Computex 2024)上,AMD 创始人苏姿丰(她也是英伟达创始人黄仁勋的表亲)也首次明确了未来 AMD 在 GPU 产品节奏——每年迭代一个新的产品。 GPU 与英伟达更新节奏一致的商品。


几乎每一个英伟达都是最后一个 GPU,AMD 都会在第一时间从市场上购买拆机,与尚未上市的商品进行比较。


”“这里要加点 feature(指标)、那儿的参数要拉起来”,他们追求的是“英伟达不能落后于硬件,参数微赢”,前述人士对此 36 氪提及。


今年,苏姿丰在台北电脑展上发布。 Instinct MI325X


2023 年至今,AMD 几乎每隔两天,中国生态合作伙伴就会收到来自 AMD 软体优化新需求。推广他们的软件 GPU,AMD 有时候,高管们也会要求更多的优势 CPU 部门,配着 GPU 去打单,顶着 CPU 也许无法销售的风险。


"AMD 人们每天都在“烧香拜佛”,只是希望我们把生态搞起来。"一家生态公司的高管说,根据他的说法,国内已经有 10 多家云厂商和 To B 客户,在与 AMD 与芯片相关的适配和质量验证。


与一批焦虑的国产芯片制造商相比,海外芯片巨头在硬件方面具有先进的工艺和先进的工艺。 HBM 产能,所以,AMD、与英伟达商品相比,英特尔的商品实际上没有太大的差距,在一定程度上甚至更好。


官方数据显示,AMD 的商品(2023 年 12 月发布的 在此之前,MI300X声称算率是英伟达 H100 的 1.2 倍;


2024英特尔商品(2024 年 4 月发布的 Gaudi 3)在能效和推理性能方面也远远超出了推理性能。 H100。当然,也更便宜,AMD 的 GPU 大约78%的价格是英伟达的标杆产品。


但是,所有与英伟达正面硬刚的制造商都面临着一个共同的问题:每个人的硬件如何有优势,都因为软件的劣势而黯淡,就像木盆的短板一样。


在 GPU 也只适用于图形计算时代,英伟达推出的软件平台 CUDA,相当于给开发者提供了一套编程界面,让他们在编程语言中最熟悉, GPU 自由编写计算程序。


"我给你举个例子,CUDA 为什么你不能超越它,就像你学习一门语言一样。这么多年来,你一直在用这种语言工作。如果我让你换一套语言,你会不会觉得不舒服,会不会不愿意?“一家芯片公司的员工就是这样给的 36 氪举例。


CUDA 英伟达软件生态堡垒是最强大的,纵是英特尔,家大业大,AMD 弯道也不能在短时间内超越。


一位英特尔 GPU 团队前员工告知 36 氪星,他们曾安排世界各地。 3000 很多工程师,倾注了三四年,却只把精度从精度上提高。 0% 提高到 4% ——她们用英特尔的芯片转换一个人像,等待了很长时间,信息丢失到“已经看不到是一张脸”。


英特尔 CEO 基辛格发布 Gaudi 系列芯片


“鸡生蛋还是蛋生鸡”的谬论重现。正是因为 AMD 和英特尔的 GPU 使用者不多,其及相应的软件平台(ROCm、oneAPI)使用的人也比较少,所以很难有人能够充分发挥他们真正的硬件能力。


"英伟达的 CUDA 一直有那么多开发者在上面迭代算法,帮助英伟达高效地进行推理和训练,导致英伟达一直有议价权。他一直知道下一个芯片应该怎么做,但这是 AMD 和英特尔一起头痛的事情“ AMD 生态公司 CEO 直言,如今AMD 的软件工具 ROCm,"如同 20 年前英伟达 CUDA 一般"。


但是对下游客户来说,风险就是由此产生的。


验证大模型是一个不确定的实验。如果要在未经验证的芯片上运行,就相当于把两个不可控的变量放在一起——抛弃英伟达,意味着要支付巨大的转移成本,承载不确定性。


即便如此,围剿英伟达,对于 AMD 对于英特尔这两个家庭来说,仍然是一场必须战斗的战斗。


全球芯片架构三分天下:X86 架构指导着 PC 这个领域是英特尔和 AMD 世界;移动市场是 Arm 世界;英伟达主导着人工智能市场。


在全新 AI 在革命引领时代的近一年半时间里,英伟达一度越过。 3 万亿美元的市值价格,现在也相当于 7 个英特尔 AMD 市值总和。


时隔 20 年后,芯片巨头们对英伟达进行了交易。「围剿」,这是另一场焦虑的战争,也是一场患得患失的反击。


真正的缝隙


当国内 AI 芯片公司构成蚂蚁雄兵,AMD 和英特尔一起竭尽全力,遭受这种紧追不舍的英伟达,真的被震撼了吗?


英伟达帝国的差距正在悄然扩散。


使英伟达必须提高警惕的信号是,OpenAI、谷歌,微软…这些原因 AI 信念,为英伟达充值的大客户,正迈出“反英伟达”的第一步。


自研芯片是每个家庭长期战略的棋局。一个谷歌 TPU 该团队的前核心员工通知 36 氪星,用在世界上 1/4 谷歌的计算能力,"年底可能不会对外采购芯片"。


谷歌过去自主研发 TPU 基于成本考虑,比如担心英伟达随意涨价,或者供应不稳定,现在谷歌的造芯策略更加激进。——"几乎不计代价和成本投入"。


OpenAI 然后就有无数的手准备,他们的筹资高达 7 建立一个全新的亿美元。 AI 芯片王国。


在国内,36 氪星也是从多方了解到的——现在英伟达是国内最大的买家,阿里,字节,百度,基本上都在秘密研究用于大型训练的芯片。


海外云制造商、大型制造商、明星芯片制造商的商品进展,36 整理氪综合信息,绘图


然而,自研芯片毕竟是一个长期的解决方案。这些大客户短期内的另一个解决方案是尝试英伟达对手的产品,减少对英伟达的依赖。


AMD 就是这个 Plan B。一位 AMD 内部人士告诉我们 36 氪,AMD 的 GPU 该产品已在欧洲、美国、韩国等地开放大客户市场——微软已购买数万件 AMD 商品,特斯拉,Midjourney、同时,美国国家实验室、韩国电信也批量取货。


在国内,AMD 生态学公司员工陈文说,AMD 某个型号的加速卡在 2023 每年都有数百片出货,虽然不多," AMD 这款产品,以前在国内几乎没有这个人”。


根据 AMD 以前乐观的预测方面, 2024 年底,数据中心 GPU 将给 AMD 带来高达 20 收益为亿美元。


而且中国芯片制造商的蚂蚁雄兵,虽然还没有对英伟达造成实质性的威胁,但是星火燎原,也有逐渐崛起的趋势。


36 氪石知道,如今,国内培训和推理芯片的销售已经跃入了一个新的高度——一个令人欣慰的积极信号是,国内认可最难下单的互联网公司和大型公司已经为国内芯片制造商开了一个洞。


据 36 氪石知道,现在,在百度等互联网公司体系中,升腾芯片已经难以突破。


另外,像智谱这样的国内 AI、MiniMax、阶跃星辰等 AI 公司正在训练万亿参数的大模型,但在英伟达高端芯片有限的情况下,大模型公司普遍选择“混合训练”(即英伟达高端芯片) 其它芯片),例如,智谱 AI 集群储备了将近一半的升腾芯片。


此外,从去年开始,天数智能芯片和兖原推理芯片产品都有上万件出货,出货渠道包括国内各大智能计算中心。前者进入百川大型厂商的供应链;百度昆仑芯在这里,过去两代推理芯片的累计出货量 3-5 来自百度和外部渠道的万片出货量已经各占一半。


“英伟达目前的价格和供水水平,正处于测试每个人是否做这件事的边界。”,一个业内人士直言不讳。


黄仁勋,英伟达创始人 图源视觉中国


在接下来的三到五年里,英伟达的新威胁也在慢慢地闪现。


同时也出现在行业内 GPU 除了全新的 AI 芯片结构-例如之前的推出。 LPU 硅谷芯片公司的结构 Groq,被称为运行大语言模型的英伟达 GPU "速度快了十倍";


大型模型也已发布 ASIC 硅谷芯片芯片 Etched,被称为比英伟达 GPU “一个数量级很快”。这些芯片创业公司站在后面 OpenAI 这种明星投资阵容。


36 据了解,今年国内也出现了全新的氪石。 AI 例如,上海市最近秘密支持了两家全新的芯片创业公司。 AI 芯片公司。


一家国产 TPU 公司「中昊芯英」CEO 杨龚轶凡说,GPU 晶体管的整体利用率只有 事实上,20%的缺陷非常明显,相比之下,TPU 和 ASIC 等待新的结构虽然不实用,但是晶体管的利用率可以达到 60%-100%,“未来三到五年,国内外肯定会有很多。 GPU 架构以外的 AI 芯片"。


星光点点,都可以让英伟达这个巨大的东西动摇。


“你认为英伟达就像表面上没有对手的骑行?真的不是。”一位英伟达员工告诉我。 36 氪星。正如黄仁勋常说的那样,“我们离破产只有一句话,” 30 天时间 "。


英伟达做了十几年的准备,再次撞上。 OpenAI 这类天才企业,共同催化才出现了英伟达的奇迹。以前,半导体行业最不缺少弯道超越巨人的故事。


围剿英伟达之战的硝烟,早已点燃。


end


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com