允中 发自 凹非寺量子位 | 公众号 QbitAI
已往两年,,,AI基础设施的竞争主要围绕GPU数目、芯片算力、HBM带宽和高速网络睁开。。。。
但随着大模子进入长上下文、重大推理和多智能体阶段,,,决议一套系统能够产出几多有用Token的因素正在变得越发重大。。。。
GPU依然是算力底座,,,着实际使用率却越来越取决于模子权重、KV Cache和MoE专家能否在准确的时间抵达准确的盘算节点
若是KV Cache无法实时复用,,,系统就需要重新执行Prefill;;;若是MoE专家权重没有在路由爆发前进入内存,,,GPU便可能停下来期待数据;;;若是大宗推理状态恒久占有HBM,,,又会压缩并发请求和有用批处理的空间。。。。
AI Infra由此正在从“堆叠盘算资源”进入“协同盘算、网络、内存与存储数据路径”的新阶段。。。。
月之暗面的Mooncake与NVIDIA推出的CMX,,,组成了这一转变的两个代表性信号。。。。
月之暗面从大规模推理软件架构出发,,,把疏散在集群中的CPU、DRAM、SSD和NIC组织为可调理的KV Cache资源;;;
NVIDIA进一步在Vera Rubin基础设施中建设专门的Pod级Flash上下文层。。。。
二者标准和实现方式差别,,,却配合指向一个趋势:
推理状态正在成为AI基础设施中的一级资源,,,存储也最先进入Token天生的实时主链路。。。。Mooncake:把KV Cache酿成自力的基础设施资源
Mooncake最主要的工业意义,,,并不但是为Kimi构建了一套新的推理服务系统,,,更是改变了大模子基础设施对“数据”的组织方式
古板推理节点往往把GPU、CPU、DRAM和外地SSD视为一台服务器内部的牢靠资源,,,KV Cache主要追随请求和GPU实例保存;;;一旦缓存被驱逐或请求迁徙,,,已经完成的Prefill盘算便可能失去复用价值。。。。
上下文越长,,,重复盘算和腾贵GPU资源的铺张就越显着。。。。
Moonshot AI与清华大学揭晓于USENIX FAST ’25的Mooncake接纳以KV Cache为中心的疏散式架构,,,将Prefill与Decode安排在差别资源池中,,,并把GPU集群中未被充分使用的CPU、DRAM、SSD和NIC组织身漫衍式KV Cache池。。。。
位于中心的Conductor不再只凭证GPU负载分发请求,,,而是连系KV Cache漫衍、缓存掷中、节点负载以及TTFT、TBT等服务目的,,,决议缓存复用、Prefill执行和Decode调理[1]。。。。
Mooncake的请求流进一步说明晰这种转变:可复用的Prefix KV Cache先被送至合适的Prefill实例,,,新增KV Cache随模子各层盘算一连天生,,,再与Prefill盘算重叠,,,异步流送到目的Decode节点;;;缓存到齐后,,,请求才进入一连批处理。。。。
Mooncake Store认真KV块的放置、复制、镌汰和生命周期治理,,,Transfer Engine则通过RDMA、多NIC带宽聚合与拓扑感知路径选择毗连差别盘算和存储层[1][2]。。。。
推理系统由此从“给GPU喂数据”转向“围绕Tensor生命周期编排整条数据路径”。。。。
△Mooncake以KV Cache为中心的疏散式推理架构:Prefill与Decode资源池通过Mooncake Store、RDMA传输引擎和全局调理器协同事情。。。。
Mooncake论文把这一思绪概括为“用更多存储换取更少盘算”。。。。
凭证论文披露,,,在真实请求轨迹和差别TBT约束下,,,Mooncake相关于所较量的基线系统提高了59%至498%的有用请求承载能力;;;论文揭晓时,,,其生产系统已运行于数千个节点,,,逐日处理凌驾1000亿Token[1]。。。。
需要强调的是,,,这些数据反映的是缓存、调理、网络与盘算协同后的端到端架构收益,,,并非某一块SSD的单盘收益。。。。
更值得AI SSD工业关注的是,,,Mooncake目今官方文档已经把DRAM与SSD/NVMe明确纳入多级缓存,,,并给出从内存向外地SSD卸载的路径,,,即将从内存镌汰的工具可在后台进入SSD,,,内存未掷中时再从SSD回读;;;数据经由预注册缓冲区后,,,由Transfer Engine送往目的DRAM或VRAM[2][3]。。。。
上层系统解决“何时迁徙、迁到那里”,,,装备侧仍要解决尾延迟、并行搬运、一连负载、耐久和与推理生命周期协同的问题。。。。
SSD因此不再只是模子启动前的文件泉源,,,而成为TTFT、吞吐与服务SLO配合约束的推理数据层。。。。
CMX:NVIDIA在HBM与共享存储之间增添G3.5层
Agent时代进一步改变了AI基础设施的优化工具。。。。
一次重大请求不再只是一次模子前向,,,还可能睁开为模子挪用、工具执行、影象检索、数据会见和多轮推理组成的长链路。。。。
KV Cache也由GPU内部的暂时状态,,,转变为需要跨节点移动、共享和复用的基础设施数据。。。。
GPU能否一连获得准确的上下文,,,最先变得与GPU自己能算多快同样主要。。。。
在NVIDIA给出的分层系统中:G1是GPU HBM,,,用于生涯加入目今Token天生的热KV Cache;;;G2是系统内存,,,肩负交流和暂存;;;G3是外地SSD,,,用于承接短期可能复用的温数据;;;G4则是面向长期化数据的共享文件或工具存储。。。。
随着智能体上下文延伸至多轮对话、工具挪用和跨使命状态,,,G1至G3的容量很快受到限制,,,而G4的会见时延和通用数据服务开销又不适合频仍进入Decode路径[4]。。。。
NVIDIA CMX Context Memory Storage Platform由此在二者之间增添了一个被称为“G3.5”的层级:通过以太网毗连、以Flash为介质、面向KV Cache优化的Pod级上下文内存。。。。
它主要承载短暂、派生、可重新盘算但延迟敏感的推理上下文,,,而不是取代用于恒久知识、日志和营业纪录的G4长期化存储[4]。。。。
△BlueField-4横跨Rubin GPU盘算、Vera CPU服务与BlueField-4 STX共享KV Cache存储节点,,,组成统一的AI Factory数据路径。。。。
CMX的意义并不但是给GPU Pod外挂一组大容量SSD。。。。
Dynamo的KV block manager与NIXL认真KV块跨层编排和搬移;;;
DOCA Memos提供面向上下文缓存的通讯、元数据、放置与共享能力;;;
BlueField-4把KV I/O、行列、预取、完整性与加密等操作下沉到靠近网络和NVMe Flash的位置;;;
Spectrum-X Ethernet则提供RDMA数据通道[4][5]。。。。
当Decode即将使用某组KV块时,,,系统可以提前将其从CMX预置到系统内存或GPU HBM,,,以镌汰GPU期待和历史上下文重算。。。。
据NVIDIA披露,,,CMX可在单个GPU Pod内提供PB级共享上下文容量,,,面向长上下文和智能体负载的一连Token吞吐与功耗效率最高可抵达古板存储方案的5倍[4]。。。。
这一数据属于厂商宣布口径,,,现实收益仍会受到模子、缓存掷中率、网络和调理战略影响;;;但CMX释放的工业信号已经十明确确
Flash最先被GPU平台厂商界说为AI推理内存系统中的正式一层。。。。
Mooncake与CMX并非统一种产品。。。。
Mooncake主要是一套疏散式推理、数据传输和漫衍式缓存系统,,,CMX则是Pod级上下文存储平台。。。。
但两者配合说明,,,AI Infra正在形成新的系统界线:盘算芯片认真执行算子,,,网络毗连资源,,,存储则需要加入推理状态的放置、迁徙和复用
AI Infra挪用SSD之后,,,SSD自身也需要爆发转变
把SSD纳入推理基础设施,,,并不料味着恣意一块古板SSD都能稳固肩负Token天生链路中的使命。。。。
古板SSD主要围绕顺序带宽、随机IOPS、可靠性和单位容量本钱举行设计;;;LLM推理需要的却是带有严酷时序约束的数据供应。。。。
KV Cache在Prefill阶段集中天生,,,并在后续对话或智能体方法中被再次读取。。;;;MoE模子在每一层只激活部分专家,,,却需要生涯远大于目今显存或内存容量的专家权重。。。。
数据纵然最终能够从SSD读出,,,只要没有遇上模子的盘算窗口,,,GPU、NPU或CPU仍会进入期待。。。。
这种矛盾还会延伸至SSD内部。。。。NAND Flash以页为单位读取、以块为单位擦除,,,FTL需要执行地点映射、垃圾接纳和磨损平衡,,,一连写入KV Cache可能带来写放大、寿命压力和难以展望的尾延迟。。。。
古板LBA排布也不相识模子层、KV块、MoE专家及其执行序次之间的关系;;;逻辑上相关、即将配合使用的数据,,,在物理介质中未必形成适合并行读取的结构。。。。
因此,,,AI SSD不可只用“更岑岭值带宽”界说。。。。
△图片为AI天生
它至少需要解决两个层面的问题:
一是提供更低延迟、更高耐久性和更稳固尾延迟的介质与I/O能力;;;二是通过主控、固件、中心件以致推理运行时的协同,,,让SSD加入数据分层、缓存治理和展望式预取。。。。
市场上的相关产品也由此逐渐分化为两类。。。。
第一类是AI负载强化型企业级SSD,,,仍坚持标准块存储装备形态,,,但围绕AI集群的高频缓存、模子加载和大容量数据调解性能、耐久性与容量指标。。。。
英韧科技洞庭-N3X接纳低时延、高耐久介质,,,重点面向KV Cache卸载和高频暂时数据读写[6];;;
华为OceanDisk LC 560则以超大单盘容量温顺序读取能力承载模子、语料和向量数据[7]。。。。
△AI负载强化型企业级SSD的代表性产品:英韧科技洞庭-N3X与华为OceanDisk LC 560。。。。
这类产品首先解决AI基础设施底层的I/O供应问题。。。。
第二类“推理加入型AI SSD”则更进一步:它们试图让SSD从被动响应块装备下令,,,走向加入模子权重、KV Cache和MoE专家的运行时治理。。。。
群联、江波龙以及寅谱—联芸,,,是目今较有代表性的三条蹊径。。。。
三条推理加入型蹊径:节点缓存、存储侧智能与跨层协同
群联:用专用缓存SSD和中心件扩展GPU运行空间
群联aiDAPTIV的焦点产品形态,,,是专用缓存SSD、内存治理中心件和工具链的组合。。。。
其目的不是单独提供一块高性能存储盘,,,而是把SSD组织成GPU显存之外的高容量缓存层。。。。
当模子权重凌驾VRAM容量时,,,系统把权重切分为数据块,,,凭证执行进度在SSD与VRAM之间流式搬运,,,使目今需要盘算的部分留在GPU周围,,,暂时不活跃的数据下沉至Flash。。。。
SSD还可以生涯被显存驱逐的KV Cache,,,后续泛起相同上下文时再将其取回,,,镌汰重新执行Prefill的本钱[8]。。。。
从AI Infra角度看,,,群联蹊径的特点在于产品界线清晰:专用高耐久缓存盘认真容量和一连写入,,,中心件认真数据交流,,,经由验证的事情站或服务器设置认真安排交付
群联官方资料给出的专用缓存SSD耐久性最高抵达100 DWPD[8]。。。。
这一方案把云侧常见的“以存储扩展盘算内存”思绪压缩到单机和小型集群中,,,形成较直接的安排路径。。。。
江波龙:让SPU成为存储侧调理节点
江波龙的蹊径更强调SSD主控自身的处理能力。。。。
其架构以SPU作为硬件执行层,,,以iSA作为软件决议层:iSA感知推理负载并制订数据分层与预取战略,,,SPU认真存储控制、硬件压缩、高速缓存和详细的数据搬运[9]。。。。
凭证江波龙果真质料,,,其WM8500 SPU接纳5nm工艺,,,并引入存内无损压缩、HLC高级缓存和混淆NAND调理。。。。
HLC用于让SSD承接原本生涯在DRAM中的温冷数据,,,混淆NAND则凭证冷热水平在高速缓存区和大容量介质区之间分配数据[9]。。。。
这一方案体现的是“存储侧智能化”:控制器不再只执行主机发出的标准读写请求,,,也最先肩负压缩、冷热识别、缓存划分和调理执行,,,重点面向AI PC、事情站和端侧智能装备。。。。
寅谱-联芸:从AI Infra反向界说SSD的数据路径
寅谱(Infplane)与联芸(Maxio)组成了另一种组合。。。。
联芸提供NAND Flash、SSD主控、固件及产品适配基础。。;;;寅谱则从大模子推理芯片、近存盘算、操作系统和主板级协同控制出发,,,将盘算侧的数据分层与调理手艺延伸到SSD。。。。
在本文重点讨论的群联、江波龙和寅谱-联芸三条蹊径中,,,寅谱是唯逐一家以AI Native身份而非SSD Native身份进入AI SSD的企业
它并非从古板SSD、NAND模组或存储主控营业向AI延伸,,,而是以AI推理、盘算芯片和系统协同为起点
这种配景使其对AI Infra的明确首先来自模子执行、数据流和调理,,,而不是从单盘容量或峰值IOPS出发。。。。
寅谱推行的software-defined chip和近存盘算,,,并不是纯粹依赖软件取代芯片,,,而是让芯片能力通过主控、固件、运行时和系统软件之间的协统一连被界说。。。。
△图片为AI天生
在AI推理中,,,数据是否需要驻留、何时预取、放在哪一级介质,,,以及怎样与模子执行顺序匹配,,,往往无法只由一颗古板SSD主控自力决议。。。。
寅谱-联芸方案因此实验意会盘算侧缓存系统、middleware、firmware、controller和NAND介质治理。。。。
该方案围绕MoE专家、KV Cache和数值精度三个维度举行数据切分、冷热分层、并行搬运和展望式预取。。。阂环矫嫫局つW又葱欣痰骼碜胰ㄖ赜隟V Cache,,,另一方面将模子数据中的差别精度部分凭证会见热度举行特殊存放和读写。。。。
其设计目的还包括镌汰对模子文件和主流推理框架的侵入,,,并适配差别CPU、GPU、NPU及SSD模组形态。。。。
这条蹊径的AI Infra属性相对突出:它不把AI SSD明确为伶仃装备,,,而是把SSD视为云侧、边沿侧和端侧推理数据路径中的可调理层级
响应地,,,它需要同时处理模子、运行时、操作系统、固件、主控和NAND之间的接口,,,软硬件协同规模更广,,,研发与验证本钱也更高。。。。
联芸已果真提出,,,AI推理正在推动SSD主控从古板“数据通道”走向面向Token本钱的智能调理[10];;;
其消耗级与工业级主控产品基础,,,以及向AI推理主控偏向的延展,,,也为相关手艺进入差别模组和整机形态提供了工业化条件[10][11]。。。。
△存储侧推理加入型AI SSD探索:群联aiDAPTIV缓存SSD、江波龙SPU+iSA方案以及寅谱-联芸AI SSD方案。。。。
AI SSD竞争,,,最终会成为完整数据路径的竞争
群联、江波龙和寅谱—联芸并不但是接纳了三种差别的SSD手艺,,,它们也代表三种差别的AI基础设施切入方式。。。。
群联从专用缓存盘和中心件切入,,,强调可安排的显存与内存扩展;;;江波龙从SPU和iSA切入,,,把更多调理与压缩能力放入存储侧;;;寅谱—联芸则从盘算与存储协同切入,,,试图让SSD的数据组织方式更直接地匹配模子执行历程。。。。
三者并非简朴的替换关系,,,也可能划分适用于事情站、AI PC、边沿装备、企业节点和云侧基础设施中的差别位置。。。。
△AI SSD在LLM推理数据路径中的作用,,,以及主要厂商手艺蹊径与推理环节的对应关系。。。。
从更长的工业周期看,,,AI SSD的门槛不会只体现在某个主控规格或某项峰值性能。。。。
真正决议产品能否进入推理主链路的,,,是企业能否建设从NAND介质、FTL、固件、驱动、中心件到推理框架和整机验证的完整协作系统。。。。
模子兼容性、缓存掷中率、尾延迟、预取准确率、写入寿命和跨平台适配数据,,,都需要通过恒久工程实践积累。。。。
Mooncake和CMX已经在集群与Pod层面说明,,,推理状态值得被单独组织和调理;;;AI SSD则把这一转变进一步带到节点和装备内部。。。。
它不会取代HBM、VRAM或DRAM,,,而是推动一套更详尽的存储层级形成:最热的数据留在盘算芯片周围,,,温数据进入DRAM或高性能Flash,,,冷数据下沉至容量更大、本钱更低的层级,,,并由软件和硬件配合决议数据迁徙时机。。。。
当AI工业从模子能力竞赛走向大规模应用,,,基础设施最终需要回覆的不但是拥有几多FLOPS,,,还包括每瓦电力能够天生几多有用Token、每张GPU有几多时间真正加入盘算,,,以及一段已经盘算过的上下文能否低本钱复用。。。。
沿着这一偏向,,,算力、网络、内存和存储之间的界线将继续变得模糊,,,AI SSD也有时机从外围装备进入AI Infra的焦点数据路径。。。。
参考文献[1] R. Qin et al., “Mooncake: Trading More Storage for Less Computation — A KVCache-centric Architecture for Serving LLM Chatbot,” 23rd USENIX Conference on File and Storage Technologies (FAST ’25), 2025.[2] Mooncake Project, “Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving,” Official GitHub Repository, accessed 2026-08-05.[3] Mooncake Project, “SSD Offload Design,” Mooncake Official Documentation, accessed 2026-08-05.[4] NVIDIA, “Introducing NVIDIA BlueField-4-Powered CMX Context Memory Storage Platform for the Next Frontier of AI,” 2026.[5] NVIDIA, “Scaling Agentic AI Factories Through Extreme Co-Design with NVIDIA BlueField,” 2026.[6] 英韧科技,,,“从N3X到Gen6:英韧科技怎样用三概略素打造国产AI SSD”,,,2026.[7] Huawei, “Huawei OceanDisk LC 560 SSD Data Sheet,” 2025.[8] Phison Electronics, “How aiDAPTIV+ Works.”[9] 江波龙,,,“SPU与iSA”,,,2026.[10] 联芸科技,,,“CFMS 2026|联芸科技:AI推理时代,,,存储主控芯片价值跃迁”,,,2026.[11] 联芸科技,,,“PCIe接口SSD控制芯片”