业界首个!美团宣布LongCat-2.0:总参数规模1.6万亿 全程由国产算力训练
快科技6月30日新闻,,,,,今日,,,,,美团宣布新一代万亿参数大模子LongCat-2.0,,,,,并将对外开源。。
据先容,,,,,LongCat-2.0是业界首个依赖国产算力完成训练、推理全流程的万亿参数大模子,,,,,总参数规模1.6万亿,,,,,从零最先预训练,,,,,原生支持1M超长上下文。。
此前,,,,,该大模子的测试版本在OpenRouter上的总挪用量已跻身全球前三。。
其中在Hermes的月挪用量位列全球第一,,,,,在Claude Code的月挪用量位列全球第二,,,,,仅次于Claude Opus 4.8。。
LongCat官方宣布,,,,,将于近期开源Infra框架、推理引擎、模子参数等焦点手艺,,,,,以回馈全球开发者社区。。
据悉,,,,,LongCat-2.0预训练数据规模凌驾30T tokens,,,,,笼罩中文、英文、多语言和代码等多类数据。。
面临万卡级训练中的硬件故障、通讯异常、显存压力与数值波动,,,,,LongCat团队从稳固性、准确性和效率三方面攻克国产算力训练难题。。
在稳固性上,,,,,通过HCCL异常处理、弹性扩缩卡和自动故障恢复,,,,,将月均日故障率降低70%以上。。
在准确性上,,,,,通过自研设计确定性算子、Bitwise一致性验证和参数检测,,,,,包管训练效果的可靠,,,,,同时基于实践提升要害?????榕趟憔取⒂呕疪educe逻辑。。
在效率上,,,,,通过流水线调理、显存优化和算子级控核,,,,,训练MFU提升1.5倍。。
最终,,,,,LongCat实现稳态日吞吐凌驾1T tokens/day,,,,,完成万亿参数MoE模子在国产算力上的稳固训练。。
@谢思妤:免费送体验金的,,,,,韩国国足主教练遭殒命威胁@李佳圣:山西注重峪煤矿事故企业认真人被控制
@许咏伶:登贝莱赛季20球11助+卫冕欧冠
热门排行
- 1 一起彩下载官网
- 2 欢乐拼三张规则
- 3 真人在线国际娱乐
- 4 博亚app最新下载官网
- 5 cc彩cc天天彩
- 6 yobo体育官方官网
- 7 188宝金博2022世界杯
- 8 乐博现金
- 9 安博足球通用