人工智能时代的辉煌存在

数据已成为数字经济浪潮下新的生产要素。

当前数据中心有三大力量：计算力-计算率，存储力-存储力，运输力-运输力，即网络力。

在计算产业链蓬勃发展的同时，对存力的需求也大大增加。2023年上半年，我国存力规模增长23%，达1080EB。

为什么存力越来越受到重视？由于大模型的演变和计算率中心的发展，大量的数据基础和与数据密切相关的存储是不可或缺的。

中国工程院教授倪光南曾指出:“每个地方都在建设AI计算中心。通常每个人都关心每秒计算多少次。这是计算率，这显然很重要。但从科学的角度来看，AI计算应该用广义的计算率来表示，存力、计算能力和运力的结合构成了广义的计算率。”

01 存力的定义

伴随着智能世界的到来，信息量正以惊人的速度增长，预计到2030年，全球数据将进入YB时代。

所有有数据的地方都需要数据存储。如何妥善安全地存储信息尤为重要，取决于数据存储的综合能力，即数据存储能力。

计算存储能力的容量，采用单位GDP存储容量来保证不同国家的对比，即数据存储空间容量除以GDP规模。每万美元GDP对应的存储容量越高，数据存储容量水平越高，GDP中数字经济的渗透程度越高，可以更好地支撑经济社会的高质量发展。

各国单位GDP存储容量表现

根据计算数据，新加坡、捷克、美国等发达国家的GDP存储容量较高，每万美元的GDP存储容量分别达到46.7GB、33.4GB、33.3GB，经济发展中存储的支撑能力较为明显。经济量较大的发展中国家，如南非、俄罗斯、中国等，处于中间水平，每万美元GDP的存储容量为23GB和31GB。

通过计算一个国家的数据存储容量，除以一个国家的总数据产值，可以反映一个国家和地区最初生产的所有信息中存储的比例有多大，从而反映一个国家的数据存储能力是否足以支撑其经济社会的高质量发展需求。

各国数据存力充足的表现

全球范围内，每亿美元GDP聚集的数据量保持14.5%的快速增长，北美美国、加拿大等发达国家达到16.8%，反映了信息量的快速增长。

存力投资增长率指标利用2017年至2019年三年各国存储投资的复合增长率来衡量各国的增长动能。高增长率反映了数据存储在各国现有数据存储规模之上的发展速度和潜力。

各国存力投资增长率的表现

2017-2019年，沙特、中国、俄罗斯等发展中国家的存储市场增长迅速，复合存力投资增长率均超过40%。

作为计算率的重要组成部分，随着计算能力需求的爆炸式增长，行业对存储能力提出了更高的需求，先进的存储能力已经成为计算率高质量发展的重要发展方向。

02 在AI时代，存力是如何演变的？

AI时代对存储提出了更多的要求：

高速数据处理：尤其是在深度学习模型中，AI需要快速处理和分析庞大的数据，这就要求存储系统具备高效的数据读写能力。

大容量存储：由于信息量的急剧增加，存储系统需要更多的空间来容纳训练数据、模型参数和推理结果。

延迟浏览量低：即时AI应用对存储系统的响应速度要求很高，低延迟存储解决方案可以显著提高响应速度和响应时间。

可扩展性：随着AI应用的扩展，存储系统必须能够灵活增长，以适应日益增长的存储需求。

AI时代所需的内存和存储器可以根据调取速度和支出水平分为四种类型。

最终层次，位于金字塔的低端，与SSD存储产品相对应，速度较慢，成本较低。

SSD是数据存储的基础。与DRAM相比，它主要处理计算时的数据传输问题。大量的数据仍然依赖于NAND 由Flash制成的SSD、嵌入式存储。

“SSD(固态板)将成为AI的一部分。PeterPeter Lee最近发布了一份报告，提醒投资者注意“更换周期”即将到来，SSD可能会取代AI硬盘驱动器。他指出，SSD因为它的速度比HDD快40倍，所以更适合AI训练应用。

SSD的演变主要有两个方面：一是容量，二是性能和功耗。

另一方面，AI时代对高容量SSD的需求正在迅速增长。SSD不仅需要更大的存储容量，而且可以通过技术改进来提高NAND密度，而不会牺牲性能。

随着 TLC 闪存结构开始达到原始存储容量的极限(正如之前的 SLC 和 MLC 一样），QLC 代表着不断突破主流消费的希望 SSD 容量极限的 SSD 制造商的未来。现在，存储商已经发布了QLC闪存。

新一代三星发布 QLC NAND 闪存，其面积密度极高，达到每平方毫米。 28.5 Gbit。 Solidigm的子公司SK海力士推出了61.444，选择QLC闪存。 TB D5-P5336 SSD商品。

根据最新需求，TrendForce集邦咨询表示，AI服务器在第二季度对大空间SSD的需求持续上升，除了推动第二季度Enterprise之外， 预计第二季EnterpriserpriserSSD合约价格将继续上涨超过20%。 SSD收入增长率仍有机会延长20%，QLC大空间产品的需求动能明显优于其它容量。

另一方面，在性能和功耗方面，随着数据中心对存储设备速度要求的不断提高，，SSD需要提交更高的IOPS(每秒输入输出操作频率)和带宽（GBPS），在保证高性能的同时，必须有效地控制功耗，实现单位性能所需的能耗降低。

最大的助力点是协议接口和NAND接口的速度。 现在，为了追求高性能，NVMe/PCIe SSD是数据中心的高性能标准。

PCIe5.0的规范早在五年前就已经发布，但是PCIe5.0的排热、信号消耗等问题已经被阻止了。 PC市场推广SSD的重要原因。然而，随着技术的普及，PCIe5.0的市场份额将继续扩大。三星半导体还预测PCIe5.0在PC端SSD商品中迅速使用。

另外，目前的PCIe 6.0已经发布，数据传输速率将由PCIe发布。 5.0的32 GT/s和PCIe 4.0的16 GT提升到每个引脚64 GT/s，PCIe 6.0 ×16通道单向理论数据传输速度达到128 GB/s（双向256 GB/s）。

三是能够以更高的性价比为大型模型提供大容量CXL内存扩展方案。

需要注意的是，PCLe可以扩展和分层，包括嵌入式交换机或交换机芯片，支持一个根端口与多个终端连接，如多个存储设备(以及其他终端，如以太网卡和显示驱动软件)。然而，这种实现方式在一个大型系统中有局限性，包括一个独立的内存池。这个系统中的处理器和加速器在同一个系统中。 64 在位置空间中共享相同的数据和存储空间进行异构计算。

与使用 CXL 与替代实现方案相比，缓存一致性机制的缺乏会导致这些应用程序内存性能低下，延迟是不可接受的。

因此，尽管 64GT/s 的 PCIe 6.0.1 引入有助于增加存储应用程序的可用带宽，而延迟增加很少或没有增加，但缺乏一致性仍然限制了它。 PCIe 应用程序，如传统应用程序 SSD 这种块状存储设备。用于这种存储应用 PCIe 这是一个传输接口 NVMe 已经占据了 SSD 技术的主导地位。下一代正在开发中 SSD，它们将使用 CXL 接口取代 PCIe。

就产品而言，三星在数据存储方面有两个CXL存储模块。一个是CXL2.0商品CMMM，已经推出的第一代基于SoC。-D，三星半导体计划在2025年推出一款新产品，配备第二代控制器，容量为128GB。同时，三星还在不断开发和使用NAND和DRAM的混合CXL存储模组结构CMMM。-H，该架构用于AI和ML系统。

CZ120在美光推出 CXL内存扩展方案，最多可扩展2TB内存空间。另外，在添加可扩展内存之后，Llama2 LLM的推理性能提高了22%，可以更大程度地释放GPU性能。

二级，是DDR内存，速度更快，价格更高。

DDR、LPDDR、基于DRAM的三种内存规范或标准，GDDR已经成为目前PC和服务器端的主流内存，因为它的性能和成本优势。

为了解决从客户端系统到高性能服务器的广泛应用所面临的性能和功耗挑战，2020年，JEDEC下一代主流内存标准DDR5正式发布(固体技术协会) 最后的SDRAM规格(JESD79-5)。

JEDEC将DDR5描述为一种具有革命意义的内存结构。

DDR5具有速度更高、空间更大、节能性更强的特点，与DDR4相比。DDR5内存的最高传输速度为6.4。Gbps，它是DDR4的两倍。现在， PC、笔记本电脑仍然是人工智能，各个行业都在加速 DDR5 新时代的进步。

2024年初DDR5供不应求，差距达到3%。根据市场内部人士的预测，这是由于生成人工智能。（GenAI）必要时，内存市场DDR5的渗透率将加快，预计2024年下半年将达到两位数百分比。

当前AI服务器的另一个趋势是DDR转换为GDDR。

DDR存储器的设计延迟极低，其目的是尽可能快地传输少量缓存数据，以配合CPU进行串行计算。显卡多为平行任务，需要大量重复存储，但对延迟的需求没有CPU高。因此，GDDR带宽更大，频率更高。

如今，GDDR的标准已经更新到第七代，即GDDR7。美光宣布，新一代GDDR7显示存储器将用于显示卡进行样本检测。与前一代GDDR6显示存储器相比，数据传输频率将增加60%，并增加了新的睡眠模式，从而降低待机能耗的70%。

第一层位于金字塔顶端，对应的工作速度特别快，但是成本很高的内存，比如HBM。作为一个内存芯片，它可以快速地向GPU喂养大量的数据。

HBM是一种高带宽存储器，是一种基于3D堆栈技术的高性能DRAM，实际上是将许多DDR芯片堆叠在一起，与GPU一起封装，实现大空间、高位宽DDR组合阵型。

HBM 解决了传统 GDDR 遇到的“内存墙”问题，采用了近存计算架构，不通过外部连接。 GPU/CPU/Soc 通过中间介质层紧凑快速地连接信号转换器芯片，大大节省了数据传输所使用的时间和能耗。

在技术上，HBM已发展到第五代。 分别是： HBM（第一代）、HBM2(第二代)、HBM2E（第三代）、HBM3(第四代)、HBM3E(第五代)。 2026年可能会推出规格较高的HBM4。

就HBM市场而言，SK海力士市场份额有望在2023年全球HBM市场上上升至53%，三星市场份额为38%。、美光的市场份额约为9%。然而，5日，美光宣布将在2024年会计期间抢占HBM市场20%以上的份额。AMD 和 NVIDIA 两家尖端的 GPU相继配置 HBM。

03 存储的下一站：存算一体化

在这里，我们已经可以看到存力不断进化的过程。

从最初的数据存储SSD，到DDR5的数据计算，再到HBM的进一步解决数据传输问题，存储一直在处理数据存储的效率问题。因此，下一步存储的关键是打破“存储墙”。

计算一体化的优势是解决传统冯·诺依曼架构下的“存储墙”和“功耗墙”问题。清除不必要的数据处理延迟和功耗，利用存储单元提高计算率，提高计算效率数百倍，降低成本。

AMD、特斯拉、三星、阿里巴巴等公司曾在公共场所表示，下一代技术的储备和演变方向是在“计算一体化”的技术结构中找到新的发展动能。

例如，阿里达摩院曾经说过，与传统的CPU计算系统相比，存算集成芯片的性能可以提高10倍以上，能效可以提高300倍以上。

当前，存算一体化的技术路径主要分为近存计算。（PNM）、存内处理（PIM）、存内计算（CIM）。英特尔等国际巨头，IBM、探索磁性存储器，如特斯拉、三星、阿里等。（MRAM）、忆阻器（RRAM）等待商品陆续量产；国内知存科技、亿铸科技、九天睿芯等创业公司都在下注PIM、CIM等“存”与“算”更加密切的存算一体化技术路线。

本文来自微信公众号“半导体产业纵横”（ID：ICViews），作者：九林，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com