“超节点只是表象,,,下一代算力竞争为何整体走向系统??????”
作者丨陈悦琳
编辑丨包永刚
“都是超节点。。。”这是2026天下人工智能大会(WAIC)上算力公司给参会者最深的印象。。。
算力公司整体展示超节点,,,代表的是推理时代AI算力的竞争焦点已从单颗芯片性能延伸至芯片、互联、软件和系统的整体协同。。。
这也是雷峰网与12家AI芯片及基础设施企业高管对话后,,,收获的第一个共识。。。
一致的判断还包括AI主流事情负载正从训练转向推理,,,Agent是这种转变的焦点因素。。。别的,,,多家企业以为产品已经从手艺演示进入商业验证阶段。。。
一直低调的芯片公司也亮相WAIC
这些共识,,,也诠释了国产芯片企业为何整体选择在今年亮相2026WAIC。。。
“由于产品真的准备好了。。。”一连参展多届的清微智能副总裁陈逸伦诠释,,,一方面推理为主的市场空间足以容纳多家企业;;另一方面国产算力的软件生态和落地能力经由几年的积累,,,已经到了可以面临市场磨练的水平。。。
他还注重到今年展商们重点比拼的也不再是算力参数,,,软件生态、落地规模、客户实测数据成为要害。。。
“问落地、问本钱、问供货的显着多过问峰值参数。。。”在现场的东方算芯市场部部长徐子鸣也有着最直接的感受,,,前不久他们刚宣布第一代产品。。。在旅行其他展位时,,,他还发明各人都在强调从芯片到整机的全链条国产化。。。
接待不少到访的政府向导时,,,爱芯元智边沿&终端盘算营业总司理刘瑞聚常遇到的提问也是“芯片是否为国产自研”。。。
面临国产替换这一不可逆的趋势,,,奇异摩尔网络手艺副总裁叶栋强调,,,正是推理时代让国产芯片有了与外洋巨头同场竞技的时机。。。
对此,,,摩尔线程副总裁马鉴总结:“海内AI工业正处于黄金机缘期,,,中国有很好的政策和应用的土壤,,,行业名堂泛起‘百花齐放’的状态。。。”
专注存算一体手艺的后摩智能即是其中一家。。。后摩智能战略生态副总裁杨大卫告诉雷峰网,,,今年展会上存算一体、光子盘算相关产品和方案的曝光量大幅提升,,,这意味着困扰AI算力工业多年的“存储墙”瓶颈已成为全行业共识性难题。。。
突破冯·诺依曼盘算架构限制,,,正在成为行业焦点立异偏向之一。。。
信号:Agent、架构立异、系统与生态
浪潮和挑战接连涌来,,,拥有差别手艺蹊径和谋划目的的企业又最想对外释放哪些信号??????
作为目今炙手可热的AI应用形态,,,Agent正在翻开更多想象空间。。。
爱芯元智视察到并不是所有中小企业都有能力自建云算力等征象,,,希望让每一个企业都能在外地安排自己的AI Agent;;
此芯科技提出“Agentic Compute(智能体盘算)”,,,试图构建笼罩端、边、云的全域算力底座。。。
当古板芯片性能的提升路径遇到瓶颈,,,架构立异成为突破口之一。。。
东方算芯强调“换道突围”,,,选择“14nm≈4nm”的成熟工艺和“软件界说+3D近存盘算”的架构立异。。。
后摩智能体会到大宗AI原生应用即将爆发,,,接纳存算一体作为破解“高性能、低功耗、低本钱”三角矛盾的基础路径。。。
算力竞争也在同步升维,,,系统建设成为不少企业锚定的主战场。。。
摩尔线程强调“模子训练”“词元生产”“智能体生产”三大工厂,,,希望回应当下AI生长算力需求并举行针对性结构;;
奇异摩尔把今年界说为“超节点元年”,,,体现互联已经从配角酿成AI基础设施的焦点命脉;;
昆仑芯进一步延伸,,,体现超节点更主要的价值在于让每一张卡都施展更高效率,,,使得客户以更低本钱、更快速率建设和运营大规模算力中心。。。
更久远的竞争力尚有赖于构建生态。。。
安谋科技从横向扩展,,,借由开源AIOS同盟指明未来AI盘算底座需由多方协作共建;;
清微智能有意将手艺、产品、应用生态先后举行展位结构,,,直言“生态”不是营销看法,,,而是真实的手艺安排;;
天数智芯从时间维度给出类似的判断——行业短期看产能、中期看产品、恒久看生态;;
奕行智能用开源界说算力,,,宣布业界首个RISC-V AI算力超节点,,,希望用开放指令集和统一软件栈解决行业“一卡一软件”的碎片化困局。。。
这并非此次WAIC的所有谜底。。。围绕云边端场景的手艺热门、国产芯片名堂及焦点竞争力等行业议题,,,我们试图继续从参展WAIC的算力企业高管那里,,,找到AI算力演进偏向的更多线索。。。
云端算力的下一代基本单位,,,为什么是超节点??????
从看法的抛出到海内的周全铺开和生态共建,,,AI时代的“超节点”(SuperNode)只花了两年时间。。。
2024年GTC大会上,,,英伟达首次将72颗GPU毗连成一个高度耦合的盘算单位,,,推出面向AI时代可量产的超节点GB200 NVL72。。。
随后,,,海内厂商逐步跟进。。。以2025年WAIC华为昇腾384超节点真机的线下首展为节点,,,国产算力逐步释放走向系统层级的信号。。。
一年后,,,华为在WAIC 2026上展示了1024卡昇腾950超节点。。。但这一次超节点不再只是少数厂商的专属故事,,,而是成为一批国产芯片企业可以同台展示的手艺路径。。。
单芯片的商业职位让位于系统的背后,,,究竟预示AI算力工业的游戏规则爆发了哪些根天性地转变??????
摩尔线程副总裁 马鉴
WAIC超节点的集中亮相与跨界相助,,,不但是手艺架构的升级,,,更是AI算力工业在系统级竞争下的必定选择,,,标记着国产算力正实现系统级的跨越。。。详细而言,,,主要体现在以下几个焦点演进偏向:
——竞争逻辑从“拼单卡”转向“拼系统”。。。现在来看,,,权衡AI算力工业的真实水位,,,不但包括模子参数,,,更是包括Token挪用量。。。竞争焦点不再是简单芯片的峰值算力,,,而是整个盘算系统能否以更低的单位本钱、更高效率稳固地生产智能。。。
超节点通过高速互联将数百至数千颗芯片整合为简单算力池,,,突破了古板集群的内存墙和通讯墙,,,标记着国产算力从单点突破转向系统架构立异。。。
——研发模式从“单打独斗”走向“系统化联合共建”。。。随着大模子向万亿参数演进,,,算力集群已演变为涵盖算、存、网、电、冷、管、软等多维度的重大系统工程。。。这使得简单厂商难以在每一个环节都做到极致。。。
因此,,,工业研发模式正从已往的各自为战,,,加速转向跨企业的联合开发。。。
——价值评估从“硬件参数”转向“Token经济”。。??????突Ч褐玫牟辉俳鼋鍪堑タ判酒,,,而是从芯片、服务器、互联到集群运维的一整套解决方案。。。TCO(总拥有本钱)、单位Token本钱、集群训练效率、推理并发能力等系统级指标成为新的定价锚点。。。
AI基础设施正在从科研工具变为全行业通用基建,,,工业重心也从训练转向推理,,,进入Token工厂时代。。。
——交付能力从“可用”迈向“全栈闭环”。。。AI硬件竞争已跨越了单卡比拼的初级阶段,,,进入了能否交付完整基础设施的新阶段。。。企业不但要提供芯片,,,还要具备从芯片设计、先进封装、整机安排、液冷散热到软件平台调优的全链路闭环能力。。。
谁能把芯片、互联、软件、能源和客户需求组织成高效稳固的系统,,,谁就能在下一阶段的算力重组中占有制高点。。。
从芯片到系统,,,云端AI算力的竞争一连升维。。。但并非每一种系统形态都能掷中市场需求。。。
超节点被“重仓”,,,不但是体现了厂商对更大规模算力的追逐,,,更实质的原因还在于低延迟、实时交互等一系列推理需求,,,倒逼AI基础设施的升级从古板Scale-out模式转向更细密的Scale-up组织方式。。。
沐曦股份联合首创人、CTO兼首席硬件架构师 彭莉
超节点并非训练的须要条件。。。训练的盘算和通讯都属于粗粒度模式,,,盘算时间长,,,通讯可以被隐藏在盘算后面,,,险些感知不到通讯带来的影响。。。因此,,,使用Scale-out网络已经足够。。。
超节点之以是在推理时代成为要害,,,泉源在于应用侧的驱动。。。爆发式增添的推理需求对低延迟高度敏感,,,而超节点的实质就是在芯片之间构建高速互联通路,,,能够直接降低通讯延迟,,,从而提升推理效率。。。今年Agentic AI的兴起更是进一步放大推理需求。。。
新的智能化时代必定带来一轮工业洗牌,,,新的产品形态会一直涌现。。。这也是为什么大宗公司最先投入这一偏向——要害在于谁能快速捉住工业时机。。。
别的,,,超节点加速落地的另一主要原因在于协议正在逐渐收敛。。。原先各人基本都是直连,,,在一个节点内GPU和GPU之间形玉成互联,,,实质上是自己跟自己通讯。。。
因此可以说超节点有点像语言,,,已往各人各讲各的方言,,,现在GPU厂商、交流机厂商都愿意讲通俗话。。。当通用协议最先泛起,,,整个工业的统一就变得顺理成章。。。
超节点的系统级建设必定陪同重漂后的提升。。。当一套算力系统同时涉及芯片、互联、软件、存储和工程安排等多个环节时,,,简单企业的能力界线正在被重新界说,,,开放相助不失为一种工业选择。。。
奇异摩尔网络手艺副总裁 叶栋
超节点从“各家秀肌肉”走向“相助共建”,,,我以为是 AI 算力工业从“单点竞争”迈向"生态协同"的主要标记。。。
这一转变首先反映了工业对“算力即系统”的深度共识——超节点的实质不是把更多芯片堆在一起,,,而是要实现盘算、存储、网络的多维协同。。。简单企业很难在芯片、互联、软件栈等每个环节都做到极致,,,开放相助是必定选择。。。
其次,,,它也说明国产算力生态正在从“各自为战”走向“互联互通”,,,差别厂商的超节点最先追求标准对接和资源共享,,,这对降低用户迁徙本钱、加速应用落地至关主要。。。
从工业演进偏向看,,,我以为有三条主线:
第一,,,超节点自己从训练专用向“训推一体”演进,,,推理负载占比将一连提升;;
第二,,,超节点建设模式从关闭走向开放,,,行业标准正在形成,,,跨厂商的算力互联将成为常态;;
第三,,,超节点的竞争焦点正从“规模有多大”转向“效率有多高”——互联带宽使用率、通讯延迟、PD疏散效率等系统级指标,,,将决议超节点的真实商业价值。。。
清微智能副总裁 陈逸伦
关于相助建设超节点,,,我以为这反映了两个主要趋势。。。
第一,,,超节点的构建是工业链上下游协同的效果,,,绝非芯片企业一己之力所能完成。。。芯片企业提供焦点算力,,,专业服务器厂商认真整机设计与制造,,,交流机厂商提供网络互联方案——各方能力互补,,,只有通详尽密相助,,,才华更快地推出可规;;才诺某诘悴贰。。
第二,,,工业正从“各自为战”走向“生态协同”。。。国产算力工业要真正具备竞争力,,,不可依赖简单企业,,,而是需要整个工业形成协力。。。各家企业开发的超节点也不应相互割裂。。。
未来要组建更大规模的算力集群,,,差别厂商的超节点之间必需实现互联互通,,,这就要求行业配合建设开放的互联互通协议,,,阻止形成新的算力孤岛。。。
奕行智能高级副总裁 吕剑飞
这反映了三个起劲转变:
第一,,,工业链分工正在成熟。。。中兴OEX联合多家芯片公司打造开放超节点,,,说明行业已经熟悉到超节点是一个需要全工业链协同的大工程。。。芯片公司聚焦算力,,,装备商聚焦整机和交流,,,各展所长、开放协作。。。
第二,,,正交无背板正在成为电互连超节点的主要手艺偏向。。。本届WAIC上,,,多家厂商都接纳了正交架构,,,由于它在信号完整性、安排本钱和运维便捷性方面有显著优势。。。奕行智能同样接纳正交无背板设计,,,差别在于凯时AG底层是RISC-V开放指令集——架构选择趋同,,,指令集蹊径独吞。。。
第三,,,超节点从“能做多大”转向“能多快落地”。。。各人不再只是讲参数,,,而是关注液冷方案、机房PUE优化、运维便捷性等现实安排问题。。。这说明行业在从“手艺验证”迈向“规模商用”。。。
无论是单点建设照旧生态共建,,,超节点要想真正实现规;;涞,,,要害需要厘清什么决议系统能力的上限和商业化本钱的下限。。。
东方算芯市场部部长 徐子鸣
去年还在讲看法,,,今年各人都明确了超节点的焦点是统一内存编址和低时延互联,,,目的是让大规模芯片像一台盘算机那样协同事情。。。
而目今超节点建设要突破的问题主要有三个:
一是互联带宽和时延的物理瓶颈;;二是大规模集群的调理效率和软件栈成熟度;;
三是大规模系统的稳固性、故障隔离和运维工程化。。。
增补一点,,,系统级性能不可只靠堆规模。。。单芯片自己的有用算力提上去,,,集群的整体效率才会更高,,,架构层面的突破和系统层面的优化是相辅相成的。。。
后摩智能战略生态副总裁 杨大卫
超节点的迭代模式转变,,,实质是AI算力工业从简单芯片竞争,,,升级为全系统能力竞争。。。
前两年超节点是头部企业的硬件展示窗口,,,焦点是比拼芯片堆叠数目、峰值算力,,,属于纯粹的“秀肌肉”。。。
现在年行业普遍走向联合共建、协同优化,,,焦点原因是行业告竣共识:超节点的焦点竞争力历来不是“堆卡规模”,,,而是组网效率、通讯优化、算力调理能力。。。
与此同时,,,超节点的功效定位也在迭代。。。从已往的“训练专用”,,,转向“训练+推理”双适配、重点优化推理场景。。。
针对推理营业高并发、低时延、碎片化的特点,,,超节点的架构设计、通讯机制都在针对性升级,,,适配规;;评砺涞匦枨蟆。。
这里有一个行业普遍忽略的焦点逻辑:系统优化的天花板,,,由单芯片能效比决议。。。
即便超节点组网、调理优化做到极致,,,若是单芯片的能效保存数目级差别,,,整体算力TCO(总拥有本钱)依然无法优化。。。
这也是今年大宗新型架构芯片集中涌现的焦点原因——工业已经认清,,,只有从底层架构提升单芯片能效,,,才华从基础上解决超节点规;;逃玫谋厩烟狻。。
值得注重的是,,,目今已然成为共识的超节点建设并没有标准谜底:扩展规模从百卡到万卡各有主张,,,组网架构也在芯片原生直连与交流网络之间举行权衡,,,互联手艺还在电到光的演进中寻找最优解。。。
有关国产超节点的手艺蹊径选择、工业希望以及背后的工程挑战,,,接待添加作者微信Evelynn7778交流。。。
端侧AI爆发前夜:五个焦点突破偏向
云端推理在用超节点应对挑战,,,边沿和端侧AI又怎样推动AI爆发??????
自2017年华为、苹果先后在手机SoC集成AI加速硬件以来,,,端侧AI首次具备专门的算力基础。。。但彼时承载的更多照旧视觉、语音等相对牢靠专用的小模子。。。
随着大语言模子、多模态模子一直成熟,,,AI最先具备明确、妄想和执行重大使命的能力,,,Agent等新应用形态进一步推动AI从“回覆问题”走向“完成使命”,,,边端侧的商业化形态随之扩展。。。
云边端之间的盘算分工也因此被重新界说,,,但这并不等同于三者此消彼长。。。
清微智能副总裁 陈逸伦
云端推理和边端推理不是“先有云再有边”的顺序关系,,,而是两个平行生长的赛道。。。清微自己就是“边云协同”结构。。。
随着AI智能体的生长,,,边端推理的需求会越来越明确——智能体需要低延迟响应,,,必定要求部分推理在边端完成,,,而不是所有上云。。。这会拉动边端芯片的需求增添。。。
平行生长意味着优化目的的差别。。。越靠近云端,,,越着重肩负规;;评砗屯骋坏骼;;越靠近应用侧,,,越强调低时延、外地安排、数据清静和低功耗等。。。
基于后者差别的能力组合,,,哪些场景将率先走向规;;涞,,,各家企业给出的谜底不尽相同。。。
摩尔线程副总裁 马鉴
从云端向边端的跨越,,,实质是AI从云端大脑向泛在工具的演进。。。详细加入景,,,我们以为AI办公或者开发硬件、具身智能机械人、智慧家庭这几类场景是可能率先爆发的。。。这也正是摩尔线程现在正在结构的。。。
后摩智能战略生态副总裁 杨大卫
今年WAIC现场,,,大宗智能终端、对话机械人、具身智能装备的量产落地应用,,,已经实现了大模子端边外地运行,,,边端推理的工业浪潮已经开启。。。
天数智芯副总裁 宋煜
现在边端最成熟的刚需主要集中在工业质检、智能安防、智能驾驶等低时延、外地化场景,,,具身智能则是增添潜力最明确的新偏向之一。。。
古板视觉应用已经具备一定规;;,,,但VLM、VLA等新一代模子要进一步规;;涞,,,仍需沉淀行业know-how,,,并在软硬件接口、模子安排、可靠性与清静等方面形成标准化方案,,,降低项目化适配本钱。。。
具身智能、AI PC、自动驾驶、安防等领域已成为多家企业眼中的重点落地偏向。。。但距离真正的大规模普及,,,边端推理还需要跨越怎样的时间窗口??????
奇异摩尔网络手艺副总裁 叶栋
我以为边端推理在特定场景已经起量,,,好比智能驾驶、安防监控等实时性要求极高的领域,,,但真正意义上的大规模泛化普及,,,或许还需要2到3年的时间窗口。。。
奕行智能高级副总裁 吕剑飞
手艺条件正在快速成熟,,,但“场景-本钱”的正向循环还需要一点时间。。。
我们判断2027年将是边端推理的起量元年。。。RISC-V在端侧有自然优势——低功耗、可定制、本钱无邪——这与边端场景的需求高度匹配。。。
要走过爆发的前夜,,,端侧AI还需要从哪些偏向突围??????雷峰网和算力公司的高管们聊完之后,,,发明谜底出奇地一致。。。
一颗更适配端侧的专用AI芯片。。。手艺维度包括存算一体等盘算架构、Chiplet等先进封装、专门优化的软件栈等。。。
一个真正翻开市场的杀手级应用(Kill App)。。。
一个能跑在边端的大模子。。。轻量化手段包括蒸馏、量化、剪枝等。。。
一套买通云边端的协同系统。。。不但是算力的调理,,,更涉及软件栈的统一、通讯范式的更新。。。
一道数据清静防线。。。端侧意味着数据留在外地,,,但怎样让用户真正信任这一点,,,还需要行业标准与合规系统来兜底。。。
最底层的AI芯片仍是主要驱动。。。谁能真正知足下一阶段AI应用需求,,,可添加作者微信Evelynn7778一起追踪。。。
集中亮相的国产芯片,,,眼中最强的四张底牌
大模子训练时代险些界说了已往几年AI芯片的生长偏向——更强的算力规模、更大的显存容量和更快的集群效率。。。
但据德勤数据统计,,,AI时代的重心正在爆发偏移,,,到2026年推理预计将占所有AI盘算量的三分之二。。。
当推理逐步成为算力消耗的主力,,,商业选择也随之泛起分化:一部分仍在探索逊с力的一连突破;;另一部分关注Token本钱,,,希望以最具性价比的模式支持规;;灿;;尚有企业以为特定场景下用户愿意为更高质量服务支付溢价。。。
于是,,,通用GPU不再是唯一的解,,,更多专用架构芯片接连现身;;芯片之间也最先互通有无,,,思索怎样施展更强的性能。。。
与此同时,,,AI盘算从云端到边沿和端侧,,,不是简朴复制或简化云端架构,,,而要在功耗、实时性、隐私和本钱约束下实现AI的规;;涞亍。。
在此配景下,,,险些所有企业都以为国产AI芯片的生长阶段已从“有没有”逐步过渡至“好欠好用”。。。那国产芯片的名堂又将怎样演进??????
爱芯元智边沿&终端盘算营业总司理 刘瑞聚
关于未来名堂,,,我以为会泛起“多蹊径并存、场景驱动”的态势。。。
云端大算力领域会有几家头部企业形成主导,,,但不会是一家独大;;
端侧和边沿侧会越发百花齐放,,,由于场景极端碎片化——机械人、手机、汽车、工业、农业,,,每个场景对算力、功耗、本钱的要求都差别,,,没有一款通用芯片能通吃所有场景。。。
架构立异会一连涌现,,,国产芯片正跳出简单制程追赶的古板路径。。。我们爱芯元智的定位很是清晰——聚焦端侧和边沿侧的笔直场景,,,做高能效比的专用芯片息争决方案,,,这也是一条验证过的可行之路。。。
而我们近期建设的全资子公司“爱芯盘算”也将从AI芯片供应商延伸至AI盘算平台,,,针对具身智能、智慧零售等场景提供边端AI推明确决方案。。。
东方算芯市场部部长 徐子鸣
目今处于蹊径分化期,,,早期各人路径相对趋同,,,现在各家的手艺特色和定位越来越清晰,,,有做通用GPU的,,,有做专用芯片的,,,也有我们这样走近存盘算蹊径的,,,不再挤在统一条赛道上。。。
未来名堂或许率是多元并存。。。对中国市场来说,,,多蹊径并存既是必定,,,也是清静需要。。。
后摩智能战略生态副总裁 杨大卫
展望未来,,,全球AI芯片市场会形成国际厂商与国产厂商双雄并列的稳命名堂。。。海内市场不会泛起一家独大的时势,,,最终会沉淀出3-5家拥有焦点手艺、成熟生态、规;;涞啬芰Φ耐凡科笠,,,依附差别化架构、场景化能力朋分市场。。。
天数智芯副总裁 宋煜
今年的焦点转变是AI的生长从手艺演示走向真实生产场景,,,行业关注的重心也在爆发转变:不但是模子能力自己,,,也不但是算力资源的供应,,,而是能否将模子能力稳固、高效、经济地转化为恒久可用、可规模交付的智能服务。。。
这不但要求更高的算力,,,也要求准确性、稳固性、可恢复性、可视察性等生产级能力。。。别的,,,AI算力解决方案的生长也响应进入了“好欠好用、能不可规模用”的新阶段。。。
关于未来生长,,,我们以为焦点在于“回归盘算实质”,,,用高效率、可预期、可一连的“高质量算力”赋能智能社会。。。
奕行智能高级副总裁 吕剑飞
未来名堂上,,,我们以为差别架构会在差别场景下各有优势。。。GPU、NPU、RISC-V DSA并非相互替换,,,而是互补。。。
RISC-V的焦点特点是开源、可定制、不依赖指令集授权费——这让它在需要高度自主可控、或需要针对特定事情负载深度定制的场景中,,,具有奇异价值。。。
作为业界首个RISC-V架构超节点的提出者,,,我们很愿意看到多种手艺蹊径配合昌盛,,,最终受益的是整其中国AI工业。。。
谁能成为特定领域的头号玩家,,,谁又是百花齐放中的种子选手,,,在手艺和商业底色各不相同的配景下,,,取决于各家企业构建的护城河。。。
在相识企业对焦点竞争力的明确以及它们最看重的指标后,,,我们发明谜底各有着重,,,大致泛起以下四个维度:
丨未来AI芯片竞争不是寻找一颗万能芯片,,,而是围绕差别场景寻找最优解
爱芯元智边沿&终端盘算营业总司理 刘瑞聚
我以为焦点竞争力体现在四个维度:场景明确与定制能力、能效比、软件栈与生态、数据清静与合规能力。。。
若是说哪一方面最为要害,,,我以为是“场景明确与定制能力”。。。原因很简朴——推理不是一个标准化的产品,,,而是一个场景化的服务。。。
云端训练可以标准化,,,各人都用差未几的GPU跑差未几的框架;;但推理千差万别,,,机械人的推理、手机的推理、聚会机的推理,,,对芯片的要求完全差别。。。
“通用芯片打天下”的时代已经已往了。。。未来属于那些能够深入明确场景、针对场景做深度定制、并在场景中一连迭代优化的企业。。。
能效比是硬指标,,,软件栈是护城河,,,数据清静是敲门砖,,,但只有场景明确能力,,,才华把这一切整合起来,,,转化为客户真正需要的价值。。。
这正是爱芯元智一直在做的事情——不为做一个“万能”的芯片,,,而为每一个详细场景打造“最合适”的解决方案。。。
单Token本钱将成为推理时代权衡AI芯片商业价值的焦点指标
清微智能副总裁 陈逸伦
推理时代,,,AI芯片企业的竞争力我以为体现在四个维度。。。
第一是单Token本钱。。。训练可能只做一再,,,但推剖析爆发亿万次;;AI智能体一个使命还会一连触发妄想、搜索、模子挪用和工具执行。。??????突逄牟坏欠逯邓懔,,,更是响应速率、吞吐量、单Token本钱。。。这是最直接的竞争力。。。
第二是软件生态。。。再强的芯片没有软件生态也是一块砖铁。。??????突ㄡ惚厩卟桓摺⒛W邮逝淇旆稠,,,决议了芯片能不可真正用起来。。。
第三是落地能力。。。芯片不是做出来就算完了,,,要能交付千卡级集群、能在智算中心稳固运行、能服务真实验业客户。。。
第四是降本能力。。。像清微主要从架构、互联和低精度三个维度实现降本。。。
若是要选一个最要害的,,,我以为是单Token本钱。。。其他三个维度最终都会体现在这个指标上。。。
软件生态好,,,迁徙本钱就低,,,模子跑得快,,,Token本钱就低;;落地能力强,,,集群效率高,,,Token本钱就低;;降本能力强,,,硬件本钱和运营本钱都低,,,Token本钱就低。。。
未来推理需求会远远凌驾训练,,,单Token本钱是行业竞争的最终标准。。。
丨软硬协同知足低本钱和高效率的推理需求
后摩智能战略生态副总裁 杨大卫
在推理需求主导的新工业阶段,,,AI芯片企业的焦点竞争力体现在以下几大维度:芯片极致能效性能、完善的软件生态、稳固的量产与供应链能力、深度的场景落地明确能力等。。。它们相辅相成,,,决议企业的恒久生长上限。。。
其中,,,极致能效性能是第一焦点竞争力。。。推理的实质是商业化经济性问题,,,行业客户的焦点诉求是“更低的本钱、更高的效率”。。。
芯片能效比直接决议了客户的推理本钱、项目TCO,,,也直接决议了客户的商业模式能否跑通,,,是产品能否落地的基础条件。。。
而软件生态是决议企业能走多远的焦点壁垒。。。硬件性能可以快速迭代,,,但编译器、开发工具、模子适配、开发者生态需要恒久打磨积累。。。
在硬件性能趋同的行业阶段,,,完善、易用、成熟的软件生态,,,才是拉开行业差别、锁定客户、实现规;;涞氐慕沟阋Α。。
奕行智能高级副总裁 吕剑飞
真正的竞争力体现在五个环节的协同:
一是芯片架构效率——是否原生支持低精度推理,,,是否通过Tile级调理镌汰无效算力消耗;;
二是互联效率——多卡推理时,,,芯片间通讯不可成为瓶颈;;
三是软件适配效率——主流大模子能否快速、低成外地迁徙安排;;
四是安排运维效率——液冷方案、PUE、机房兼容性;;
五是供应链清静——全链路自主可控,,,包管恒久稳固供应。。。
在这五个维度中,,,我们以为最焦点的是“架构自主乘以软件生态”的交织能力。。。这也是奕行智能投入最多的偏向——RISC-V开源指令集提供架构自主的底座,,,VISA虚拟指令集和EVACA软件栈让这个底座真正高效可用。。。
丨决议AI芯片竞争力的不再只是单颗芯片性能,,,而是系统级效率。。。
此芯科技
目今AI芯片企业竞争力主要体现在场景化硬件能效、全栈软件系统、行业交付落地、开放生态协同四个维度,,,其中最为要害的是生态。。。
以Agentic Compute智能体盘算为例,,,这不是一颗芯片的单打独斗,,,而是芯片、操作系统、开发工具、模子生态、行业同伴的协同作战。。。只有买通上下游完整生态链路,,,才华降低智能体外地化安排门槛,,,真正释放端边云全域算力的商业价值。。。
首先是芯片架构。。。需要针对推理场景一直优化,,,在盘算效率、存储带宽、互联能力、能效等方面取得更好的平衡。。。
第二是系统能力。。。今天客户采购的不再是一张卡,,,而是一套能够稳固运行的AI基础设施,,,因此超节点设计、集群安排、高速互联、稳固性和运维能力都很是主要。。。
第三是软件生态。。。模子适配速率、开发工具、编译器、推理框架等都会直接影响客户的开发效率和使用本钱。。。谁能够更快支持最新模子、更快完成安排,,,谁就更有竞争优势。。。
第四是规;;桓赌芰Α。。AI工业已经进入应用落地阶段,,,客户越发关注产品是否能够稳固量产、快速交付,,,并支持恒久运行。。。
若是说最要害的一点照旧系统级能力。。。未来客户关注的不是单项指标,,,而是每投入一份算力本钱,,,能够获得几多有用Token产出,,,能否稳固支持营业增添。。。能够一连提升整系一切效率、降低AI应用本钱的企业,,,才会形成真正的竞争优势。。。
摩尔线程副总裁 马鉴
从推理的维度来看,,,推理要求的是极致的性价比,,,AI芯片企业的竞争力体现在多个维度,,,包括系统与集群能力、软件生态与易用性、产品迭代与供应包管、对场景的明确与客户深度相助等等。。。
芯片是基础,,,但用户最终购置的是可落地的算力能力。。。谁能以更低门槛、更高效率和更优总体本钱,,,资助客户将模子真正安排到营业中,,,谁就更有恒久竞争力。。。
沐曦股份联合首创人、CTO兼首席硬件架构师 彭莉
相较于转变快的模子结构,,,芯片迭代慢——设计一年、生产泰半年、软硬件调试又要两三年。。。在这种节奏下,,,适配的要害在于预判。。。
从芯片设计角度出发,,,像沐曦通常遵照预研一代、在研一代、在售一代的节奏。。。预研必需紧贴模子演进的前沿。。。这意味着,,,做好芯片只是基本功,,,更主要的是对工业走向有前瞻性判断。。。
推理时代决议竞争力的焦点是系统方案。。。从制造端看,,,系统研发效率必需大幅提升。。。以超节点设计为例,,,目今其涉及的PCB、联调等环节,,,要耗时十几个月才华完成设计验证。。。而一颗集成了上百亿晶体管的芯片也只需要一年左右。。。硬件工业链必需加速迭代,,,否则永远赶不上软件的演进速率。。。
天数智芯副总裁 宋煜
这个行业短期看产能,,,中期看产品,,,恒久看生态。。。在推理需求一连增添的配景下,,,“生态”仍是决议恒久名堂的要害点。。。同时,,,“产品”维度的竞争焦点已爆发转移。。。
详细睁开来看:
第一,,,短期看产能——这是市场爆发期的入场券。。。推理需求走向规;;逃,,,意味着芯片的稳固供货、良率提升和交付能力直接决议企业能否捉住窗口期。。。
第二,,,中期看产品——大模子应用正从单轮问答向Agent智能署理、长上下文交互、多模态天生及重大推理演进。。。
推理场景对GPU的需求已不再局限于峰值算力,,,而是转向更高的Token产出效率、更低的响应延迟,,,以及对MoE、长上下文、多模态等差别模子结构更强的适配能力。。。
更主要的是,,,推理是一连运行的本钱中心,,,客户最终体贴的是在TTFT(Time To First Token,,,首Token天生时间)、TPOT(Time Per Output Token,,,单Token天生时间)等服务指标约束下的单位有用Token本钱、QPS(Queries Per Second,,,每秒请求数)本钱和系统综合TCO。。。
因此,,,芯片企业必需在架构设计上重视效能和单位本钱下的有用吞吐,,,而非纯粹追逐算力数字。。。
第三,,,恒久看生态——GPU不是一个伶仃的产品,,,背后是一套由芯片、互联、整机系统、软件栈和相助同伴配合组成的生态。。。
通用GPU的恒久价值不但来自单颗芯片的性能峰值,,,更在于构建一个通用、好用、易用、能够一连演进的软硬件生态。。。
在推理增添的配景下,,,尤为值得注重的是以下两个方面:
一是系统级协同优化能力。。。在大规模推理集群中,,,单卡峰值算力并不即是集群的现实输出能力。。。
真正影响系统效率的因素包括Prefill与Decode资源的合理配比和请求调理、KV Cache传输效率、芯片间互联的带宽与时延、HBM容量与带宽、NIC与Switch的有用带宽、拥塞控制和通讯拓扑,,,以及集群级的使命调理、监控和运维能力。。。
这意味着,,,芯片企业必需具备“从单卡到集群、从硬件到软件栈”的全栈协同优化能力。。。
二是开发者生态。。。包括对主流框架的原生支持、算子库的富厚度、编译器及调试工具链的成熟度,,,以及开发者社区的恒久建设。。。只有一连降低模子迁徙、应用开发和规模安排的门槛,,,GPU生态才华形成真正的恒久竞争力。。。
奇异摩尔网络手艺副总裁 叶栋
在推理时代,,,AI 芯片企业的竞争力已从“单卡算力”这个简单维度,,,扩展为算力效率、互联效能、软件生态、场景适配、本钱优化五个维度的系统级比拼。。。
算力效率是基础——推理对每瓦性能、每美元性能的要求远高于训练;;软件生态决议开发者愿不肯意用、好欠好用;;场景适配磨练芯片能否在多样化推理负载中无邪调理;;本钱优化则关乎大规模安排的商业可行性。。。
但若是问我哪一方面最为要害,,,我会说是互联效能。。。
由于推理时代的焦点特征是漫衍式、高并发、细粒度通讯——MoE架构的专家并行、PD疏散的跨节点调理、多模态推理的数据流交流,,,无一不依赖低延迟、高带宽、确定性的互联能力。。。
互联效率每提升一点,,,整个集群的有用算力就能放大数倍;;反之,,,互联成为瓶颈,,,再强的单卡也只能“空转”。。。
在推理需求一连爆发确当下,,,谁能在系统级互联上建设优势,,,谁就能在真实营业场景中跑出真正的竞争力。。。
作者恒久关注AI芯片上下游,,,更多国产芯片手艺新希望和落地情形可添加微信 Evelynn7778 探讨。。。