凯时AG

2026-07-23 06:31:43 设为首页 | 加入珍藏

失控的AI智能体,,正在扬弃GPU????

2026-07-23 06:31:43 宣布 泉源:未来软件园 作者:林奕翔 浏览:4414次

作者丨薛皓皓

编辑丨关雎

已往一年,,美国科技圈掀起了一波以AI为名的裁人潮。。。。。。逻辑很简朴:AI醒目活,,人就可以少要。。。。。。

但现实并不如预期顺遂。。。。。。

一项对300多家企业HR的访谈显示,,有36%的公司裁掉员工之后,,不得不把裁掉人数的其中一半重新招了回来。。。。。。原因是AI还不敷稳固,,许多活照旧得人来干。。。。。。

更讥笑的是,,裁人省下的钱,,被AI的Token账单吃掉了。。。。。。

Uber是最典范的案例。。。。。。去年12月,,Uber大力推广AI编码工具,,工程师普及率很快抵达95%。。。。。。但4个月后,,Uber整年的AI预算就被打穿。。。。。。总裁随即下令:每人每月AI工具开销,,上限卡死在1500美元。。。。。。

另一个极端案例与OpenClaw有关。。。。。。2026年5月,,已加入OpenAI的OpenClaw首创人Peter Steinberger宣布了一张使用统计截图。。。。。。据媒体报道,,其三人团队使用了约100个Codex编码智能体实例;;;;已往30天共提倡约760万次请求,,消耗约6030亿个Token, 使用的API等价本钱约为130.5万美元。。。。。。

这背后有一个结构性原因:智能体不是在一步步完成使命,,而是在重复循环,,把每一轮的代码、报错日志、搜索效果重新塞进上下文窗口,,Token越烧越多。。。。。。通俗对话每轮消耗约1万个Token,,推理模子升到10万,,智能体动辄凌驾100万。。。。。。统一个使命跑两次,,消耗量可以相差30倍。。。。。。

这场账单;;;;诘贡普鲂幸抵匦滤妓鰽I的运行方式。。。。。。为此,,创业邦与引航陪跑创业营的教练——原高通全球副总裁沈劲聊了聊这个话题。。。。。。

01 Token消耗量上涨100倍

沈劲未曾想到,,跑AI Agent会云云花钱。。。。。。

作为投资人,,他天天需要处理大宗的邮件、微信新闻和短信通知。。。。。。这些事情繁琐但并不重大,,正是AI智能体最善于的领域。。。。。。于是他在某着名通用AI Agent平台上搭建了一套事情流,,设定好触发条件,,让智能体天天自动跑一遍。。。。。。

效果刚运行了一天,,就失事了。。。。。。

他一个月拥有8000积分的额度,,按正常使用节奏,,这笔预算足够支持一个月的AI智能体花销。。。。。。但智能体启动后,,它并没有在高效地处理使命,,而是泛起了种种BUG,,更严重的是一天之内,,8000个积分所有归零。。。。。。

沈劲随即给平台方写了一封邮件,,语气榨取但诉求明确:我用了你们的官方模板,,按标准流程跑了一遍,,BUG没有修复,,8000个积分都没了,,请补回来。。。。。。

对方没有回复。。。。。。

“可能他们刚融完资,,近期推广推得又很猛,,顾不上处理这种售后的事情。。。。。。”沈劲厥后这样诠释。。。。。。平台方的默然一连了整整一个月,,直到下个月系统自动重置,,才又发放了新的8000积分。。。。。。

“现在我不太敢用了,,预计过两天就把订阅作废掉。。。。。。”他说这话的时间语气平庸,,但背后的结论却很尖锐——

这不是他一人遇到的征象,,而是整个行业都面临的问题。。。。。。

微软也保存类似情形。。。。。。旗下的装备体验部分(认真 Windows、Microsoft 365、Teams 等产品)曾为数千名开发职员,,甚至设计师和项目司理,,都开放了Claude Code使用权限。。。。。。效果这一产品在内部大受接待,,账单也随之失控,,为了阻止过高的开支,,该部分要求在今年6月末,,作废绝大大都内部的 Claude Code 允许证。。。。。。

随着ChatGPT横空出生后,,Token消耗也随着手艺沿革爆发了指数级别的飙升。。。。。。沈劲以为,,ChatGPT类的对话式AI每轮消耗约1万个Token,,推理模子后每轮消耗约10万个Token,,智能体则每轮消耗约100万个Token。。。。。。

以是,,从1万个Token飙升至100万个Token,,单位使用量在三年多的时间暴涨100倍。。。。。。

这100倍消耗中的绝大部分,,并非用于天生内容(好比代码、文字、图片),,而是用于数据输入。。。。。。

以代码天生的案例来看,,从相关研究显示,,输入Token和输出Token之比高达154:1。。。。。。那输出一个Token,,需要输入154个Token,,那154个Token用在那里????

谜底是AI将Token用于重复循环地读取代码库和报错日志。。。。。。在每一轮对话中,,AI把上一轮的工具挪用效果、报错信息、网页搜索、代码内容等重新打包输入,,再举行下一轮修改。。。。。。对话次数越多,,输入的Token消耗量越大,,Token消耗量就像滚雪球般急剧上升。。。。。。

Token消耗量在三年时间暴涨的另一个原因在于,,本钱的不可展望。。。。。。统一个使命,,执行两次,,Token消耗差别可达30倍——“做完这次使命花10美元,,下次同样使命可能要花300美元”沈劲说。。。。。。

企艺府竿鸄I编程实现降本增效,,效果却可能适得其反。。。。。。

Meta、微软等硅谷高科技大厂已在今年上半年裁掉超10万个岗位,,AI成为最频仍提及的理由——企业期望用AI替换人工,,而压缩本钱并提高效率。。。。。。

讥笑的是,,许多企业发明高昂的AI账单,,叠加腾贵的驱逐用度,,已把AI带来“降本增效”盈利消耗殆尽。。。。。。

“最近有一项报告说明,,凌驾三分之一的企业裁掉员工后,,不得不再召回裁掉用工数目的一半,,由于他们发明AI并未带来预期水平的节约本钱和提高效率。。。。。。”沈劲说。。。。。。

02 GPU赢了三年,,CPU要翻身了

智能体AI给我们带来的转变, 不但仅是腾贵的Token消耗, 也让CPU要咸鱼翻身了. 已往三年多时间,,所有人的注重力都在GPU上。。。。。。2025年,,Meta、微软、谷歌和亚马逊仅这4家公司,,就在AI智算中心上破费超3000亿美元,,而其中六成用于采购GPU。。。。。。

在AI智算中心的一台服务器内部,,GPU和CPU配比约为8:1,,GPU需求量远高于CPU。。。。。。

GPU和CPU需求量的悬殊差别,,也反映在头部公司的市值上:2025年底,,GPU头部公司英伟达市值突破三万亿美元,,而同期CPU头部公司英特尔市值仅不到2000亿美元。。。。。。

不过在沈劲看来,,GPU和CPU配比正在爆发要害转变:GPU和CPU之比,,正从8:1转变为1:1。。。。。。“在AI Agent时代,,CPU正在悄然回到舞台中央。。。。。。”沈劲说。。。。。。

GPU的强项在于天生内容,,但AI Agent最消耗资源的地方,,不是在内容天生,,是在“编排”和“调理”,,这是CPU的强项。。。。。。

详细而言,,AI Agent需要CPU做以下事情:使命编排(决议先做什么、再做什么)、状态的长期化维护(记着上一步做到那里了)、高并发的API挪用(同时向多个外部系统发出请求)、重大的沙盒情形治理(给代码运行提供隔离的测试空间),,以及挪用种种工具——浏览器、数据库、搜索引擎。。。。。。

沈劲以自身订机票的案例来说明CPU对Agent的作用:他曾用Agent帮自己搜索一段极其苛刻的多航段行程:上海出发,,途经西班牙、多伦多,,最终抵达圣地亚哥;;;;凌驾7小时的航段必需是能躺平的商务舱,,7小时以内的航段只要经济舱;;;;所有方案里总价最自制,,且登机时间不可太早。。。。。。

这个使命,,智能体需重复挪用各大航空公司的数据接口和携程这样的OTA平台,,把几十种方案的价钱、舱位、时间所有拉取出来,,再凭证多个条件举行比对和筛选。。。。。。

整个历程里,,GPU险些无用武之地——整个历程险些不涉及内容天生,,有的只是海量的数据调取、较量和编排。。。。。。最终,,CPU相对GPU的使用率飙升到了70%~80%。。。。。。

沈劲还分享了几个详细案例:

由此可见,,使命越重大、越依赖外部数据调取和多方法编排,,CPU的占比就越高。。。。。。

现在,,新的AI硬件想将云端的运算模式,,转变为电脑外地的运算模式。。。。。。

这背后的逻辑并不重大。。。。。。云端的运算模式,,是一个“用几多花几多”的Token计量方式——每一次挪用、每一轮循环,,都在按Token计费。。。。。。智能体的“上下文雪球效应”让这个问题雪上加霜:循环越多,,输入Token越多,,账单越高,,没有上限。。。。。。

更主要的是,,云端数据中心的硬件设置是以GPU为焦点设计的(GPU与CPU的比例约为8:1),,而GPU自己就是为大规模内容天生优化的,,并不善于智能体所需要的高频调理和工具挪用——这些恰恰是CPU的强项。。。。。。

外地装备则完全差别。。。。。。每台PC里都有性能强劲的CPU,,自然适合承接智能体的编排和调理事情;;;;更要害的是,,外地运算不按Token计费,,智能体跑几多轮、循环几多次,,都不会爆发特另外账单。。。。。。

今年6月1日,,英伟达在台湾宣布的RTX Spark硬件,,正是专门针对外地AI Agent适配的新型硬件载体。。。。。。

这台装备的焦点,,是一颗专门为智能体打造的定制芯片N1X——它把GPU和CPU封装在一起。。。。。。并且,,英伟达与微软相助,,对Windows 11举行了13项要害能力的底层刷新,,目的是把古板的PC操作系统升级为"智能体OS"——既能让智能体在外地高效运行,,又能兼容用户已经习惯的所有软件。。。。。。

03苹果:打造兼具隐私和省钱的AI

英伟达RTX Spark将把算力从云端拉回外地,,但在云端和终端漫衍式AI方面,,苹果一直处于第一梯队。。。。。。

在近期举行的WWDC上,,苹果正式推出了自己全新的AI解决方案。。。。。。“当硅谷大厂都在卷上千亿、上万亿参数的大语言模子时,,苹果却在追求最懂个人、最清静、最能调理种种工具的AI。。。。。。”沈劲以为。。。。。。

苹果推出了凭证AI使命重漂后而切分的五层系统。。。。。。

第一层在手机外地,, 一个30亿参数的轻量模子,,专门处理天天被触发几十次的日常需求:总结通知、提炼短信摘要、调解写作语气。。。。。。它完全不联网,,Token本钱为0。。。。。。

第二层也在手机外地,, 一个200亿参数的希罕模子,,每次只激活其中10到40亿参数。。。。。。它认真更高质量的Siri对话、多模态明确(好比看懂照片里的内容)。。。。。。依然不联网,,Token本钱为0。。。。。。

第三层最先上云,,但上的是苹果自己的私有云。。。。。。当使命涉及重大推理、多方法的智能体事情流、或者高质量图像天生时,,请求会被送到装有苹果自研芯片的服务器上,,由苹果自研的主力语言模子来处理。。。。。。

第四层也在苹果私有云,,认真处理的是高质量图像天生和重大的图像编辑,,用的也是苹果自研模子。。。。。。

第五层会在谷歌公有云,,跑在英伟达GPU上,,处理前四层都搞未必的极端使命,,好比高级数学推理和极重大的多模态明确。。。。。。

沈劲以为,,苹果这套分层架构同时服务于两个目的:省钱和;;;;ひ私。。。。。。能在手机外地解决的,,绝不上云;;;;必需上云的,,优先走苹果自己的私有云;;;;只有少少数最重大的使命,,才会流入谷歌的公有云。。。。。。

关于这场Token账单的失控,,沈劲以为至少有四个值得创业者思索的偏向:

第一个偏向,,是做消耗类AI终端以及在终端的AI小模子。。。。。。手机市场已经没有悬念——海内就那五六家,,名堂早已锁死。。。。。。但手机之外的C端装备,,盒子、眼镜、手表,,依然有着诸多机缘。。。。。。

第二个偏向,,是做漫衍式智能体AI的运营商。。。。。。当端云协同成为主流,,必定需要一个调理层——它的事情是判断哪个使命在那里跑最合适:外地小模子、苹果私有云、照旧公有云大模子,,并认真使命编排和状态维护。。。。。。

第三个偏向,,做Context Engineering(上下文工程)手艺公司。。。。。。现在,,Token消耗自己的问题,,还未完全解决。。。。。。他的判断是:若是有一家公司能做出一其中心层,,让企业的请求在进入云端大模子之前先经由压缩和优化,,把Token消耗镌汰60%,,“肯定许多公司愿意通过这一平台来做”。。。。。。

第四个偏向,,做CPU,,岂论是超算中心的CPU,,照旧PC、手机、边沿盒子等终端的CPU,,都是创业的极佳的偏向。。。。。。

接待点击链接报名引航陪跑创业营:https://www.coachingcamp.cn/

涨停个股包括洛阳钼业(涨幅10.02%)、江西铜业(涨幅9.99%)、金钼股份(涨幅10.00%);;;;跌停个股包括风华高科(跌幅9.75%)、XD昊华科(跌幅10.00%)、大有能源(跌幅9.94%)。。。。。。

责任编辑:王惠坤    校对:林君育

今日热门

  1. 两岸遗属北京共祭无名英烈 期望统一遗愿早日实现
  2. 为全球科学数据交流提供中国枢纽 数据快报期刊集群在北京宣布
  3. 52对新人在上海加入“2026苏河婚典——爱在普陀·TOP LOVE”整体婚礼
  4. 周星驰为什么终年戴口罩
  5. 俄罗斯莫斯科等地再遭大规模无人机袭击
  6. 杭台高铁温玉段试运行 全线开通运营进入倒计时
  7. 东鹏补水啦为何能爆火
  8. 探访山东高考现。。。。。。褐悄芑等恕叭の痘た肌
  9. 云南累计建成水库7337座 总库容1193亿立方米
  10. “赵闯和杨杨科学艺术展”7月亮相京城 约请观众共探共创

相关推荐

【网站地图】