凯时AG

环球热门新闻资讯
2026-07-23 02:53:40
首页 > 新闻 > 时政要闻 > 正文

失控的AI智能体, ,,,正在扬弃GPU?????

作者丨薛皓皓

编辑丨关雎

已往一年, ,,,美国科技圈掀起了一波以AI为名的裁人潮。。。。。逻辑很简朴:AI醒目活, ,,,人就可以少要。。。。。

但现实并不如预期顺遂。。。。。

一项对300多家企业HR的访谈显示, ,,,有36%的公司裁掉员工之后, ,,,不得不把裁掉人数的其中一半重新招了回来。。。。。原因是AI还不敷稳固, ,,,许多活照旧得人来干。。。。。

更讥笑的是, ,,,裁人省下的钱, ,,,被AI的Token账单吃掉了。。。。。

Uber是最典范的案例。。。。。去年12月, ,,,Uber大力推广AI编码工具, ,,,工程师普及率很快抵达95%。。。。。但4个月后, ,,,Uber整年的AI预算就被打穿。。。。。总裁随即下令:每人每月AI工具开销, ,,,上限卡死在1500美元。。。。。

另一个极端案例与OpenClaw有关。。。。。2026年5月, ,,,已加入OpenAI的OpenClaw首创人Peter Steinberger宣布了一张使用统计截图。。。。。据媒体报道, ,,,其三人团队使用了约100个Codex编码智能体实例;;;;已往30天共提倡约760万次请求, ,,,消耗约6030亿个Token, 使用的API等价本钱约为130.5万美元。。。。。

这背后有一个结构性原因:智能体不是在一步步完成使命, ,,,而是在重复循环, ,,,把每一轮的代码、报错日志、搜索效果重新塞进上下文窗口, ,,,Token越烧越多。。。。。通俗对话每轮消耗约1万个Token, ,,,推理模子升到10万, ,,,智能体动辄凌驾100万。。。。。统一个使命跑两次, ,,,消耗量可以相差30倍。。。。。

这场账单危;;;, ,,,正在倒逼整个行业重新思索AI的运行方式。。。。。为此, ,,,创业邦与引航陪跑创业营的教练——原高通全球副总裁沈劲聊了聊这个话题。。。。。

01 Token消耗量上涨100倍

沈劲未曾想到, ,,,跑AI Agent会云云花钱。。。。。

作为投资人, ,,,他天天需要处理大宗的邮件、微信新闻和短信通知。。。。。这些事情繁琐但并不重大, ,,,正是AI智能体最善于的领域。。。。。于是他在某着名通用AI Agent平台上搭建了一套事情流, ,,,设定好触发条件, ,,,让智能体天天自动跑一遍。。。。。

效果刚运行了一天, ,,,就失事了。。。。。

他一个月拥有8000积分的额度, ,,,按正常使用节奏, ,,,这笔预算足够支持一个月的AI智能体花销。。。。。但智能体启动后, ,,,它并没有在高效地处理使命, ,,,而是泛起了种种BUG, ,,,更严重的是一天之内, ,,,8000个积分所有归零。。。。。

沈劲随即给平台方写了一封邮件, ,,,语气榨取但诉求明确:我用了你们的官方模板, ,,,按标准流程跑了一遍, ,,,BUG没有修复, ,,,8000个积分都没了, ,,,请补回来。。。。。

对方没有回复。。。。。

“可能他们刚融完资, ,,,近期推广推得又很猛, ,,,顾不上处理这种售后的事情。。。。。”沈劲厥后这样诠释。。。。。平台方的默然一连了整整一个月, ,,,直到下个月系统自动重置, ,,,才又发放了新的8000积分。。。。。

“现在我不太敢用了, ,,,预计过两天就把订阅作废掉。。。。。”他说这话的时间语气平庸, ,,,但背后的结论却很尖锐——

这不是他一人遇到的征象, ,,,而是整个行业都面临的问题。。。。。

微软也保存类似情形。。。。。旗下的装备体验部分(认真 Windows、Microsoft 365、Teams 等产品)曾为数千名开发职员, ,,,甚至设计师和项目司理, ,,,都开放了Claude Code使用权限。。。。。效果这一产品在内部大受接待, ,,,账单也随之失控, ,,,为了阻止过高的开支, ,,,该部分要求在今年6月末, ,,,作废绝大大都内部的 Claude Code 允许证。。。。。

随着ChatGPT横空出生后, ,,,Token消耗也随着手艺沿革爆发了指数级别的飙升。。。。。沈劲以为, ,,,ChatGPT类的对话式AI每轮消耗约1万个Token, ,,,推理模子后每轮消耗约10万个Token, ,,,智能体则每轮消耗约100万个Token。。。。。

以是, ,,,从1万个Token飙升至100万个Token, ,,,单位使用量在三年多的时间暴涨100倍。。。。。

这100倍消耗中的绝大部分, ,,,并非用于天生内容(好比代码、文字、图片), ,,,而是用于数据输入。。。。。

以代码天生的案例来看, ,,,从相关研究显示, ,,,输入Token和输出Token之比高达154:1。。。。。那输出一个Token, ,,,需要输入154个Token, ,,,那154个Token用在那里?????

谜底是AI将Token用于重复循环地读取代码库和报错日志。。。。。在每一轮对话中, ,,,AI把上一轮的工具挪用效果、报错信息、网页搜索、代码内容等重新打包输入, ,,,再举行下一轮修改。。。。。对话次数越多, ,,,输入的Token消耗量越大, ,,,Token消耗量就像滚雪球般急剧上升。。。。。

Token消耗量在三年时间暴涨的另一个原因在于, ,,,本钱的不可展望。。。。。统一个使命, ,,,执行两次, ,,,Token消耗差别可达30倍——“做完这次使命花10美元, ,,,下次同样使命可能要花300美元”沈劲说。。。。。

企艺府竿鸄I编程实现降本增效, ,,,效果却可能适得其反。。。。。

Meta、微软等硅谷高科技大厂已在今年上半年裁掉超10万个岗位, ,,,AI成为最频仍提及的理由——企业期望用AI替换人工, ,,,而压缩本钱并提高效率。。。。。

讥笑的是, ,,,许多企业发明高昂的AI账单, ,,,叠加腾贵的驱逐用度, ,,,已把AI带来“降本增效”盈利消耗殆尽。。。。。

“最近有一项报告说明, ,,,凌驾三分之一的企业裁掉员工后, ,,,不得不再召回裁掉用工数目的一半, ,,,由于他们发明AI并未带来预期水平的节约本钱和提高效率。。。。。”沈劲说。。。。。

02 GPU赢了三年, ,,,CPU要翻身了

智能体AI给我们带来的转变, 不但仅是腾贵的Token消耗, 也让CPU要咸鱼翻身了. 已往三年多时间, ,,,所有人的注重力都在GPU上。。。。。2025年, ,,,Meta、微软、谷歌和亚马逊仅这4家公司, ,,,就在AI智算中心上破费超3000亿美元, ,,,而其中六成用于采购GPU。。。。。

在AI智算中心的一台服务器内部, ,,,GPU和CPU配比约为8:1, ,,,GPU需求量远高于CPU。。。。。

GPU和CPU需求量的悬殊差别, ,,,也反映在头部公司的市值上:2025年底, ,,,GPU头部公司英伟达市值突破三万亿美元, ,,,而同期CPU头部公司英特尔市值仅不到2000亿美元。。。。。

不过在沈劲看来, ,,,GPU和CPU配比正在爆发要害转变:GPU和CPU之比, ,,,正从8:1转变为1:1。。。。。“在AI Agent时代, ,,,CPU正在悄然回到舞台中央。。。。。”沈劲说。。。。。

GPU的强项在于天生内容, ,,,但AI Agent最消耗资源的地方, ,,,不是在内容天生, ,,,是在“编排”和“调理”, ,,,这是CPU的强项。。。。。

详细而言, ,,,AI Agent需要CPU做以下事情:使命编排(决议先做什么、再做什么)、状态的长期化维护(记着上一步做到那里了)、高并发的API挪用(同时向多个外部系统发出请求)、重大的沙盒情形治理(给代码运行提供隔离的测试空间), ,,,以及挪用种种工具——浏览器、数据库、搜索引擎。。。。。

沈劲以自身订机票的案例来说明CPU对Agent的作用:他曾用Agent帮自己搜索一段极其苛刻的多航段行程:上海出发, ,,,途经西班牙、多伦多, ,,,最终抵达圣地亚哥;;;;凌驾7小时的航段必需是能躺平的商务舱, ,,,7小时以内的航段只要经济舱;;;;所有方案里总价最自制, ,,,且登机时间不可太早。。。。。

这个使命, ,,,智能体需重复挪用各大航空公司的数据接口和携程这样的OTA平台, ,,,把几十种方案的价钱、舱位、时间所有拉取出来, ,,,再凭证多个条件举行比对和筛选。。。。。

整个历程里, ,,,GPU险些无用武之地——整个历程险些不涉及内容天生, ,,,有的只是海量的数据调取、较量和编排。。。。。最终, ,,,CPU相对GPU的使用率飙升到了70%~80%。。。。。

沈劲还分享了几个详细案例:

由此可见, ,,,使命越重大、越依赖外部数据调取和多方法编排, ,,,CPU的占比就越高。。。。。

现在, ,,,新的AI硬件想将云端的运算模式, ,,,转变为电脑外地的运算模式。。。。。

这背后的逻辑并不重大。。。。。云端的运算模式, ,,,是一个“用几多花几多”的Token计量方式——每一次挪用、每一轮循环, ,,,都在按Token计费。。。。。智能体的“上下文雪球效应”让这个问题雪上加霜:循环越多, ,,,输入Token越多, ,,,账单越高, ,,,没有上限。。。。。

更主要的是, ,,,云端数据中心的硬件设置是以GPU为焦点设计的(GPU与CPU的比例约为8:1), ,,,而GPU自己就是为大规模内容天生优化的, ,,,并不善于智能体所需要的高频调理和工具挪用——这些恰恰是CPU的强项。。。。。

外地装备则完全差别。。。。。每台PC里都有性能强劲的CPU, ,,,自然适合承接智能体的编排和调理事情;;;;更要害的是, ,,,外地运算不按Token计费, ,,,智能体跑几多轮、循环几多次, ,,,都不会爆发特另外账单。。。。。

今年6月1日, ,,,英伟达在台湾宣布的RTX Spark硬件, ,,,正是专门针对外地AI Agent适配的新型硬件载体。。。。。

这台装备的焦点, ,,,是一颗专门为智能体打造的定制芯片N1X——它把GPU和CPU封装在一起。。。。。并且, ,,,英伟达与微软相助, ,,,对Windows 11举行了13项要害能力的底层刷新, ,,,目的是把古板的PC操作系统升级为"智能体OS"——既能让智能体在外地高效运行, ,,,又能兼容用户已经习惯的所有软件。。。。。

03苹果:打造兼具隐私和省钱的AI

英伟达RTX Spark将把算力从云端拉回外地, ,,,但在云端和终端漫衍式AI方面, ,,,苹果一直处于第一梯队。。。。。

在近期举行的WWDC上, ,,,苹果正式推出了自己全新的AI解决方案。。。。。“当硅谷大厂都在卷上千亿、上万亿参数的大语言模子时, ,,,苹果却在追求最懂个人、最清静、最能调理种种工具的AI。。。。。”沈劲以为。。。。。

苹果推出了凭证AI使命重漂后而切分的五层系统。。。。。

第一层在手机外地, ,,, 一个30亿参数的轻量模子, ,,,专门处理天天被触发几十次的日常需求:总结通知、提炼短信摘要、调解写作语气。。。。。它完全不联网, ,,,Token本钱为0。。。。。

第二层也在手机外地, ,,, 一个200亿参数的希罕模子, ,,,每次只激活其中10到40亿参数。。。。。它认真更高质量的Siri对话、多模态明确(好比看懂照片里的内容)。。。。。依然不联网, ,,,Token本钱为0。。。。。

第三层最先上云, ,,,但上的是苹果自己的私有云。。。。。当使命涉及重大推理、多方法的智能体事情流、或者高质量图像天生时, ,,,请求会被送到装有苹果自研芯片的服务器上, ,,,由苹果自研的主力语言模子来处理。。。。。

第四层也在苹果私有云, ,,,认真处理的是高质量图像天生和重大的图像编辑, ,,,用的也是苹果自研模子。。。。。

第五层会在谷歌公有云, ,,,跑在英伟达GPU上, ,,,处理前四层都搞未必的极端使命, ,,,好比高级数学推理和极重大的多模态明确。。。。。

沈劲以为, ,,,苹果这套分层架构同时服务于两个目的:省钱和保;;;ひ私。。。。。能在手机外地解决的, ,,,绝不上云;;;;必需上云的, ,,,优先走苹果自己的私有云;;;;只有少少数最重大的使命, ,,,才会流入谷歌的公有云。。。。。

关于这场Token账单的失控, ,,,沈劲以为至少有四个值得创业者思索的偏向:

第一个偏向, ,,,是做消耗类AI终端以及在终端的AI小模子。。。。。手机市场已经没有悬念——海内就那五六家, ,,,名堂早已锁死。。。。。但手机之外的C端装备, ,,,盒子、眼镜、手表, ,,,依然有着诸多机缘。。。。。

第二个偏向, ,,,是做漫衍式智能体AI的运营商。。。。。当端云协同成为主流, ,,,必定需要一个调理层——它的事情是判断哪个使命在那里跑最合适:外地小模子、苹果私有云、照旧公有云大模子, ,,,并认真使命编排和状态维护。。。。。

第三个偏向, ,,,做Context Engineering(上下文工程)手艺公司。。。。。现在, ,,,Token消耗自己的问题, ,,,还未完全解决。。。。。他的判断是:若是有一家公司能做出一其中心层, ,,,让企业的请求在进入云端大模子之前先经由压缩和优化, ,,,把Token消耗镌汰60%, ,,,“肯定许多公司愿意通过这一平台来做”。。。。。

第四个偏向, ,,,做CPU, ,,,岂论是超算中心的CPU, ,,,照旧PC、手机、边沿盒子等终端的CPU, ,,,都是创业的极佳的偏向。。。。。

接待点击链接报名引航陪跑创业营:https://www.coachingcamp.cn/

芙蓉塘外有轻雷。。。。。

责任编辑:杨士龙

【网站地图】