首页 / 资讯详情
华为已为KV Cache单独做存储，专用SSD规格却还没定下来
摘要
推理的KV Cache，已经大到需要单独管理了。这已经成为行业内越来越明确的共识。近日，华为全联接大会上推出了华为OceanStor M900，英伟达也已经推出了CMX Context Memory Storage。这类AI记忆存储产品，会将推理过程中已经产生、可能再次复用的KV Cache进行分层管理和存储，在后续请求命中时减少相应的重复计算，这将直接节省有关算力开销。有业者明确表示，即使缓存的命中率越来越高，继续从90%向95%提升依然很有价值。但是，对于存储价格“比金子还贵”的当下，单独存储一些可能复用的推理缓存，究竟是一笔什么样的账单？01从DRAM到SSD，换算不是1比1“KV Cache外置的核心逻辑就是‘以存换算’。”长期研究存储的学者章衡告诉雷峰网。以存换算，本质上是在计算成本和存储成本之间找一个平衡点。已经算过的历史KV，是直接丢掉、下次重新计算，还是保存下来，在后续请求命中时直接复用？现在行业给出的答案，显然是后者。章衡举例，假设KV Cache命中率从90%提高到95%，需要重新计算的部分就会从10%降到5%。“相当于重新计算的那部分算力开销减少了一半。”章衡说。但命中率继续提高，也意味着需要保存更多历史KV。尤其到了高命中率区间，为了再覆盖最后几个百分点的长尾数据，所需存储容量可能明显增加。要算的第一笔账，是这些KV Cache值不值得存。在某头部存储厂商负责人李辉看来，不同应用的数据生命周期差异很大。有些消费端应用中的KV Cache可能几分钟或一两个小时后就被清理。而部分企业端应用更看重上下文的持续性，KV Cache的数据生命周期也可能更长。对这类业务来说，让历史KV跨请求保留更久、供后续复用的价值也更高。第二笔账则是存在哪里。李辉认为，如果DRAM足够便宜、供应也充足，全部放在DRAM里当然最省事，性能也最好——但现实是DRAM既贵又缺，这给SSD留下了空间。但这种替换不是简单的把1TB DRAM简单换成1TB SSD。一方面，李辉表示，从整体成本来看，DRAM和SSD之间不是1:1的替换，而是“1:N”，在一些方案中甚至可能达到一比五、一比十。另一方面，按相同容量计算，李辉估算DRAM与企业级SSD的成本可以相差数十倍。正是这种价差，让内存卸载从过去资源不足时的“兜底手段”，逐渐进入新系统的初始设计。（关于DRAM、SSD的实际应用，欢迎添加作者微信 treelog10 分享、交流）企业虽然能用更便宜的SSD替代部分DRAM容量，但需要增加的SSD规模也会更大，最终仍要同时计算容量、性能和采购成本。章衡则告诉雷峰网，现阶段多数推理场景还没有到必须增加独立KV存储设备才能运行的程度。企业通常会先利用已有的DRAM、内存池和本地SSD，再逐步考虑外部存储。“肯定是先把服务器内已有的资源用满。”章衡说。华为M900和英伟达CMX的出现，则说明这种原本更多发生在服务器内部的KV分层，已经开始进一步走向独立的共享存储层。02KV需求冒头，SSD标准却没跟上独立KV存储设备已经出现，但真正承接这些KV Cache的SSD，还没有形成一个成熟、统一的产品品类。李辉告诉雷峰网，现在行业已经开始讨论面向AI推理、尤其是KV Cache负载优化的SSD，但真正落到采购端，大多数客户买的仍然是普通企业级SSD。“现在业内都在聊这个趋势，但还没有一个标准化、大规模上量的产品。”李辉说。目前市场上更多还是三星、闪迪、美光等厂商的传统企业级SSD。原因并不是SSD本身做不出来，而是KV Cache究竟会给SSD带来什么样的负载，行业还没有完