7月18日 ，，云天励飞在2026天下人工智能大会（WAIC）上宣布未来两年多的AI推理芯片蹊径图。。。。。公司妄想推出DeepVerse100P、DeepVerse100D、DeepVerse100L三款云端大算力芯片 ，，划分面向大模子推理中的Prefill、Decode以及Decode FFN环节举行专用优化 ，，并协同安排于万卡级异构集群。。。。。
这一蹊径图反映出AI算力竞争正在爆发转变。。。。。随着长上下文、深度推理和智能体应用快速生长 ，，差别推理阶段对盘算、内存带宽和通讯能力的需求加速分化。。。。。评价推理效率的焦点指标 ，，也正从单颗芯片的峰值算力 ，，转向Token吞吐、响应延迟、集群使用率和单位天生本钱。。。。。
从三款专用芯片、超节点互联到IFWA软件栈及工业协同妄想 ，，云天励飞试图将优化规模从单芯片延伸至完整推理系统。。。。。南都湾财社记者注重到 ，，这背后是AI算力竞争正在转向系统与生态协同 ，，生长重心由“有没有”进一步转向“效率高不高、安排难不难、本钱降不降”。。。。。
推理负载一连分化 ，，芯片设计走向专用化
大模子推理正在从相对简单的对话问答 ，，进入长上下文、重大推理和多智能体协同并存的新阶段。。。。。通用AI助手强调响应速率和并发能力 ，，编程、数学等深度推理使命需要更长的推理链路 ，，Agentic Coding和多Agent系统则要求模子一连挪用工具、交流信息并实时反馈。。。。。使命形态越重大 ，，推理系统面临的吞吐、延迟和本钱压力越大。。。。。
在这一配景下 ，，峰值算力已难以完整权衡芯片的现实推理能力。。。。。一次Token天生不但涉及矩阵盘算 ，，还受到内存读写、节点通讯、资源调理等环节影响。。。。。算力富足但带宽缺乏 ，，或单卡性能较高但跨卡通讯拥塞 ，，都可能导致盘算资源期待 ，，拉低集群整体效率。。。。。
差别推理阶段之间的差别也在扩大。。。。。Prefill阶段需要一次性处理输入上下文 ，，盘算密度较高；；Decode阶段接纳逐Token天生方式 ，，更依赖内存带宽和数据会收效率。。。。。在MoE模子中 ，，Decode内部的Attention与FFN又划分偏向访存麋集和盘算麋集 ，，继续共用统一套通用硬件 ，，容易泛起资源错配。。。。。
针对这一趋势 ，，云天励飞妄想了三款专用芯片。。。。。DeepVerse100P面向百万级上下文的Prefill场景 ，，重点承载长文本输入处理 ，，阻止Prefill与Decode混部时争取算力和带宽 ，，影响一连天生吞吐。。。。。
DeepVerse100D主要服务Decode环节 ，，强化内存带宽 ，，并支持1024卡Scale-up和光互联系统架构。。。。。其思绪是凭证使命需要建设芯片间光路直连 ，，并动态重构毗连关系 ，，镌汰古板多跳交流带来的排队、拥塞和中心转发开销 ，，控制大规模集群中的通讯壅闭和尾延迟。。。。。
DeepVerse100L则面向Decode阶段盘算麋集型的FFN环节 ，，接纳3D Memory架构 ，，提升内存带宽 ，，并通过低延迟芯片互联 ，，加速激活数据传输。。。。。三款芯片不再追求由简单架构笼罩所有负载 ，，而是凭证差别推理阶段举行分工。。。。。
这种转变意味着 ，，AI推理芯片正进入越发细腻的架构竞争阶段。。。。。已往 ，，厂商往往通过提高算力、带宽和存储容量获得综合性能提升；；随着推理规模扩大 ，，围绕详细负载举行专用设计 ，，正在成为降低资源铺张、提高Token产出效率的新路径。。。。。
从单卡性能转向集群效率 ，，国产算力补齐软件与生态短板
专用芯片只有进入大规模集群并实现高效协同 ，，才华转化为现实算力产出。。。。。在万卡级推理系统中 ，，整体性能并不是单卡能力的简朴叠加。。。。。集群规模越大 ，，通讯期待、负载不均、装备闲置和尾延迟等问题越突出 ，，系统调理能力对最终效率的影响也越显着。。。。。
云天励飞妄想将DeepVerse100P、DeepVerse100D和DeepVerse100L疏散安排于差别资源池 ，，划分处理Prefill、Decode Attention和Decode FFN负载 ，，再通过高速互联组成异构集群。。。。。其焦点逻辑 ，，是把完整推理流程拆解为多个资源需求差别的环节 ，，并为每个环节匹配响应芯片 ，，镌汰通用算力混部爆发的资源竞争。。。。。
这也标记着AI芯片厂商的竞争界线一直外扩。。。。。芯片设计不再只围绕单颗器件 ，，而是需要同步思量互联架构、节点组织、使命调理和模子运行方式。。。。。优化工具也从每秒能够完成几多次盘算 ，，转向每套集群能够稳固天生几多Token ，，以及为此消耗几多硬件、电力和运维本钱。。。。。
硬件异构化同时提高了软件适配难度。。。。。差别芯片肩负差别使命后 ，，模子拆分、算子调理、数据传输和故障处理都会越发重大。。。。。若缺乏成熟的软件栈 ，，硬件理论性能难以充分释放 ，，开发者还可能面临模子迁徙周期长、算子重复开发等问题。。。。。
围绕这一短板 ，，云天励飞正在建设IFWA软件栈 ，，笼罩模子开发、编程、编译和系统安排等环节。。。。。一方面 ，，IFWA一连适配PyTorch ATen算子 ，，并增强对vLLM、SGLang等主流推理框架的支持 ，，只管沿用现有开发接口和开源组件 ，，降低模子迁徙本钱；；另一方面 ，，公司通过模子量化、压缩、编译和安排工具链 ，，提高从模子到芯片的适配效率。。。。。
云天励飞此前还开源了Houmao多Agent异构编程框架 ，，由差别Agent协同完成模子开发、算子开发、性能优化和测试验证。。。。。这一实验的价值不但在于引入AI辅助编程 ，，更在于将部分依赖工程师履历的适配流程转化为可自动执行和一连验证的标准化历程 ，，以应对模子快速迭代带来的软件开发压力。。。。。
别的 ，，云天励飞将Triton算子能力融入FlagOS ，，希望通过社区共享镌汰差别国产硬件平台之间的重复适配。。。。。关于国产算力工业而言 ，，软件生态的开放性和兼容性 ，，正成为决议硬件能否规模应用的主要条件。。。。。芯片具备基础性能只是第一步 ，，能否快速接入主流模子和框架、降低开发与迁徙门槛 ，，直接影响现实安排速率。。。。。
今年5月 ，，云天励飞还联合30余家单位提倡“1001妄想” ，，试图买通芯片、IP与EDA、封装测试、系统互联、软件平台、模子及应用等环节。。。。。其目的是让下游模子和应用需求更早进入芯片与系统设计历程 ，，同时加速成熟软件能力复用和新芯片场景验证。。。。。
从行业趋势看 ，，随着AI应用进入规；；锥 ，，算力供应的焦点矛盾正由绝对数目缺乏 ，，逐步转向有用算力使用率不高、软硬件适配本钱偏高以及Token价钱仍然较高。。。。。云天励飞提出“百亿Token一分钱”的恒久目的 ，，能否实现仍取决于芯片量产、集群稳固性、软件成熟度和应用规模 ，，但这一偏向所反映的转变已经明确：AI算力竞争正在从参数竞赛 ，，转入以系统效率和单位本钱为焦点的新阶段。。。。。
采写：南都·湾财社记者 程洋
