首页 / 资讯详情
为什么手机内存进入英伟达机柜后，贵过HBM？
摘要
过去长期由HBM主导的AI服务器内存账单，正在被“手机内存”改写。8月11日，外媒Wccftech援引美国银行（BofA）测算称，英伟达面向Vera Rubin Ultra NVL144的Kyber机柜将配置124.4TB HBM4E，成本约为250万美元；同柜216TB LPDDR5X虽然单价更低，但总成本趋近280万美元，超出前者约12%。LPDDR5X原本主要用于手机等移动设备，例如iPhone 17 Pro搭载12GB LPDDR5X内存。如果做一个换算，Kyber单柜所使用的相当于约1.8万部手机的运行内存总量。这并不是LPDDR第一次走进数据中心。早在Grace CPU时代，英伟达就已经开始用LPDDR5X代替传统服务器使用的DDR。三年后，新一代Vera CPU内存不仅形式发生改变——SOCAMM2（Small Outline Compression Attached Memory Module 2，小型压接式内存模块）将原本固定式设计升级为可拆卸、可维护的服务器内存模块，单颗CPU的LPDDR5X容量也从GB级别提升至TB级别（1TB=1000GB）。这个原本为手机等端侧设备而设计的兼顾带宽、容量和功耗的产品，正在迎来和HBM相似的境遇——越来越贵的同时，也越来越稀缺。01为何曾经的手机内存能跑进AI服务器？答案在于CPU的核心数持续增加，以及智算、超算等工作负载的数据量不断攀升。这些压力传导到内存端，转化为对更大容量和更高带宽的明确需求。然而，传统服务器主内存所采用的DDR5 RDIMM（寄存式双列直插内存模块），很难在控制功耗的同时，满足CPU对极致内存吞吐能力的追求。图源ServeTheHome YouTube频道于是，英伟达开始另辟蹊径，瞄准LPDDR这类低功耗手机内存。首款数据中心CPU Grace首次应用的LPDDR5X，围绕CPU布置了多个内存通道，提供远高于手机场景的总带宽。按照官方2023年披露的数据，相比当时典型的服务器DDR5内存方案，Grace的LPDDR5X在成本相近的情况下，带宽最高可提升53%；提供同样1GB/s带宽，所需的功耗也只有前者的约八分之一。美光与Meta最新的联合测试更直观地展示了瓶颈如何被LPDDR5X解决：一项AI数据整理任务的吞吐量，在内存速度提升后增加了11%；当容量翻倍、避免中间数据频繁写入SSD后，大数据分析任务速度甚至提高到原来的2至3倍；在其中一项AI任务中，LPDDR5X本身只占整机功耗的6.8%。当手机内存被搬进服务器，性能与功耗之间的平衡得以被维持。但下一个问题随之而来：传统移动设备的安装方式，未必适配服务器的工作节奏。为了缩短信号路径、降低传输损耗，Grace将LPDDR5X固定在CPU计算模块上。这种设计往往意味着LPDDR5X一经损坏，就需要更换承载内存的整块计算板，并不符合服务器需要连续运行多年、故障部件必须能在现场快速替换的特性。除此之外，供应端的灵活性也被削弱。在整机厂必须提前锁定内存容量和颗粒规格的情况下，已交付的服务器难以完成后续的迭代升级。一旦某种颗粒供应紧张，厂商也很难像更换RDIMM那样自如调整配置。于是，将LPDDR5X模块化的SOCAMM应运而生。但它没有继承DDR5 RDIMM的布局思路，而是借鉴了轻薄本内存的CAMM（压接式内存模块）设计：传统RDIMM采用竖向插槽，虽然拆换方便，但由于内存条较高，会占用CPU周围的立体空间；平铺加压接的方案，不仅保留了可拆换性，还大大降低模块高度，为CPU周围的散热部件和更多LPDDR5X模块留出空间。