凯时AG

泉源:AI巨头的交付战争作者: 韩晓萍:

小米大模子上线新模式 推理速率突破1000 tokens/s

新京报贝壳财经讯(记者陈维城)6月8日晚,,,,, ,小米MiMo手艺团队正式上线Xiaomi MiMo-V2.5-Pro-UltraSpeed模式,,,,, ,在通用GPU上推理速率突破1000 tokens/s。 。。。

MiMo-V2.5-Pro-UltraSpeed通过对模子推理系统的全链路工程能力优化,,,,, ,在不降低模子能力条件下,,,,, ,首次把推理速率提升至1000 tokens/s,,,,, ,且无需定制芯片、只使用通用GPU即可告竣。 。。。这一突破突破了“快、强、通用 GPU无法兼得”的行业不可能三角。 。。。

小米MiMo手艺团队体现,,,,, ,该突破是基于Xiaomi MiMo-V2.5 Pro的SWA架构,,,,, ,叠加了FP4 Experts、DFlash解码以及TileRT团队的执行系统Co?design,,,,, ,从模子到推理引擎再到GPU执行路径举行了全链路优化。 。。。

克日起至6月23日,,,,, ,MiMo-V2-Pro-UltraSpeed模式将接纳申请制限时开放,,,,, ,通过申请的用户可接入API 举行体验。 。。。

自4月尾以来,,,,, ,小米AI在模子能力、推理本钱和推理效率三个维度接连取得突破:4月23日,,,,, , MiMo-V2.5-Pro在全球权威大模子测评平台Artificial Analysis上,,,,, ,获得综合智能指数与Agent指数全球开源模子并列第一;;;;5月27日,,,,, ,Xiaomi MiMo-V2.5系列模子API因手艺优化宣布最高降价99%,,,,, ,并同程序整Token Plan计费系统。 。。。6月8日,,,,, ,MiMo-V2.5-Pro-UltraSpeed以1000 tokens/s创下万亿参数旗舰模子推理速率新纪录。 。。。

编辑 杨娟娟

校对 王心

@陈呈江:世界杯官方投注站,,,,, ,习近平总书记对朝鲜举行国是会见纪实
@郭哲嘉:高评语文卷上的“猫文”作者找到了
@胡美惠:立陶宛追求加大使用中心走廊对华出口

热门排行

【网站地图】