快科技6月30日新闻,,,,,,今日,,,,,,美团宣布新一代万亿参数大模子LongCat-2.0,,,,,,并将对外开源。。。
据先容,,,,,,LongCat-2.0是业界首个依赖国产算力完成训练、推理全流程的万亿参数大模子,,,,,,总参数规模1.6万亿,,,,,,从零最先预训练,,,,,,原生支持1M超长上下文。。。
此前,,,,,,该大模子的测试版本在OpenRouter上的总挪用量已跻身全球前三。。。
其中在Hermes的月挪用量位列全球第一,,,,,,在Claude Code的月挪用量位列全球第二,,,,,,仅次于Claude Opus 4.8。。。
LongCat官方宣布,,,,,,将于近期开源Infra框架、推理引擎、模子参数等焦点手艺,,,,,,以回馈全球开发者社区。。。
据悉,,,,,,LongCat-2.0预训练数据规模凌驾30T tokens,,,,,,笼罩中文、英文、多语言和代码等多类数据。。。
面临万卡级训练中的硬件故障、通讯异常、显存压力与数值波动,,,,,,LongCat团队从稳固性、准确性和效率三方面攻克国产算力训练难题。。。
在稳固性上,,,,,,通过HCCL异常处理、弹性扩缩卡和自动故障恢复,,,,,,将月均日故障率降低70%以上。。。
在准确性上,,,,,,通过自研设计确定性算子、Bitwise一致性验证和参数检测,,,,,,包管训练效果的可靠,,,,,,同时基于实践提升要害???榕趟憔取⒂呕疪educe逻辑。。。
在效率上,,,,,,通过流水线调理、显存优化和算子级控核,,,,,,训练MFU提升1.5倍。。。
最终,,,,,,LongCat实现稳态日吞吐凌驾1T tokens/day,,,,,,完成万亿参数MoE模子在国产算力上的稳固训练。。。
广东省应急治理厅要求,,,,,,各地各部分要树牢底线头脑和风险意识,,,,,,继续亲近关注天气转变,,,,,,增强值班值守,,,,,,强化谈判研判,,,,,,凭证外地现真相形有序组织恢复海上生产作业,,,,,,严酷落实渔业清静生产“六个100%”,,,,,,做到不清静、不出海,,,,,,确保人民群众生命工业清静。。。(完)