凯时AG

中国企业首次实现ChatGPT级模子端侧安排 手机离线也能用AI

一家国产AI芯片企业今日宣布了业界首个在手机端外地运行的ChatGPT级大模子方案。。该方案可以在不联网的情形下,,,在手机上运行130亿参数的大语言模子,,,响应速率抵达每秒30个token。。

这一突破依赖于两方面的手艺立异:一是高效的模子压缩手艺,,,将原本需要数十GB显存的模子压缩到4GB以内且性能损失不凌驾5%; ;二是专用的AI加速芯片,,,提供了强盛的端侧推理算力。。

端侧大模子的最大优势是隐私保 ;。。用户的对话数据完全在外地处理,,,不会上传到云端服务器。。这关于涉及商业神秘、医疗隐私等敏感场景尤为主要。。

多家手机厂商已确认将在下一代旗舰机中接纳该方案。。剖析师展望,,,端侧AI将成为2027年智能手机的焦点卖点,,,推下手机行业的新一轮换机潮。。

免责声明:本内容来自腾讯平台创作者,,,不代表腾讯新闻或腾讯网的看法和态度。。

相关推荐

热门应用推荐

腾讯新闻·电脑版
全网热门早知道

精选视频

2026年上海多所高校新设前沿交织专业 升级拔尖人才作育系统

作者其他文章

?
顶部
【网站地图】