凯时AG

泉源:肖战杨紫领衔大合唱《歌声与微笑》作者: 冯怡伶:

业界首个!美团宣布LongCat-2.0:总参数规模1.6万亿 全程由国产算力训练

快科技6月30日新闻,, ,,,今日,, ,,,美团宣布新一代万亿参数大模子LongCat-2.0,, ,,,并将对外开源。。。

据先容,, ,,,LongCat-2.0是业界首个依赖国产算力完成训练、推理全流程的万亿参数大模子,, ,,,总参数规模1.6万亿,, ,,,从零最先预训练,, ,,,原生支持1M超长上下文。。。

此前,, ,,,该大模子的测试版本在OpenRouter上的总挪用量已跻身全球前三。。。

其中在Hermes的月挪用量位列全球第一,, ,,,在Claude Code的月挪用量位列全球第二,, ,,,仅次于Claude Opus 4.8。。。

LongCat官方宣布,, ,,,将于近期开源Infra框架、推理引擎、模子参数等焦点手艺,, ,,,以回馈全球开发者社区。。。

据悉,, ,,,LongCat-2.0预训练数据规模凌驾30T tokens,, ,,,笼罩中文、英文、多语言和代码等多类数据。。。

面临万卡级训练中的硬件故障、通讯异常、显存压力与数值波动,, ,,,LongCat团队从稳固性、准确性和效率三方面攻克国产算力训练难题。。。

在稳固性上,, ,,,通过HCCL异常处理、弹性扩缩卡和自动故障恢复,, ,,,将月均日故障率降低70%以上。。。

在准确性上,, ,,,通过自研设计确定性算子、Bitwise一致性验证和参数检测,, ,,,包管训练效果的可靠,, ,,,同时基于实践提升要害?????榕趟憔取⒂呕疪educe逻辑。。。

在效率上,, ,,,通过流水线调理、显存优化和算子级控核,, ,,,训练MFU提升1.5倍。。。

最终,, ,,,LongCat实现稳态日吞吐凌驾1T tokens/day,, ,,,完成万亿参数MoE模子在国产算力上的稳固训练。。。

@刘映新:君博国际真人,, ,,,张曼玉素颜出镜自称“都会农民”
@吴宜男:重庆市委书记:周全彻底肃清流毒影响
@王乔龙:中方呼吁加大对近东救援工程处支持

【网站地图】