机械之心宣布
手术 AI 正在从 “单帧感知” 迈向 “全流程视频明确” 的全新时代！克日，，，，由中国科学院香港立异研究院人工智能与机械人立异中心领衔，，，，联合中国科学院自动化所、香港中文大学、慕尼黑工业大学、北京协和医院、中山大学隶属第一医院、香港威尔斯亲王医院、香港大学深圳医院等全球顶尖机构，，，，正式宣布了全球首个十亿级参数、最大规模数据集练成的手术视频原生基础模子 ——SurgMotion！
论文：SurgMotion: A Video-Native Foundation Model for Universal Understanding of Surgical Videos论文链接：https://arxiv.org/pdf/2602.05638Github 客栈: https://github.com/CAIR-HKISI/SurgMotionHugging Face 权重: https://huggingface.co/CAIR-HKISI/SurgMotion
作为手术 AI 领域的里程碑式效果，，，，SurgMotion 依托于迄今为止全球规模最大、术式笼罩最全的万万帧级（SurgMotion-15M）手术视频数据集，，，，首次突破十亿级参数规模，，，，实现了对器械 - 组织交互及重大时空运动语义的深度建模。。 。。不但云云，，，，模子在首次笼罩 17 项焦点手术使命的系统性评测中展现出卓越性能：手术视频动态明确性能平均提升达16.5%；；；；手术中静态使命（如深度预计、病灶支解）平均误差降低2.9%，，，，全方位界说了通用手术视频明确的全新手艺标杆！
宣布仅三个月，，，，SurgMotion 已迅速成为 Hugging Face 上全球下载量第一的手术视频基础模子！ 现在，，，，已有来自 5 大洲、14 个国家和地区的近 40 个全球顶尖机构与研究团队（包括直觉外科、卡尔史托斯、蔡司、杜克大学、慕尼黑工业大学等）正式申请使用。。 。。
图 1. SurgMotion 基础模子架构及多场景、多使命赋能示意图。。 。。
01. 范式倾覆：
从 “像素重修” 到 “时空运动展望”
古板的医疗视觉模子往往受限于 “单帧图像” 的静态感知，，，，或是深陷于低效的像素级重修泥潭。。 。。在现实手术中，，，，烟雾、反光、出血等初级视觉噪声会消耗模子大宗的盘算资源，，，，导致模子无法真正明确手术的 “动态语义”。。 。。
SurgMotion 带来了行业内首次根天性的范式倾覆！基于先进的视频联合嵌入展望架构（V-JEPA），，，，SurgMotion 彻底摒弃了古板的像素级解码，，，，转而专注于潜空间（Latent Space）中的运动展望。。 。。SurgMotion 引入了三大焦点手艺立异：
运动指导的潜空间遮蔽展望（Motion-Guided Latent Masked Prediction）：指导模子自动过滤无用噪声，，，，将注重力聚焦于器械运动、组织形变等要害手术语义区域。。 。。时空亲和力自蒸馏（Spatiotemporal Affinity Self-Distillation）：强制模子学习手术视频在时间和空间上的强关联性，，，，实现对重大手术流程的连贯明确。。 。。时空特征多样性正则化（SFDR）：有用解决手术场景中由于纹理简单而导致的表征瓦解问题，，，，确保模子在种种极端手术场景下依然坚持极高的鲁棒性。。 。。
图 2：SurgMotion 的预训练框架与下游评估流程。。 。。
02. 全球最大：
SurgMotion-15M 预训练数据集
巧妇难为无米之炊，，，，手术视频的高门槛、隐私性和标注难度，，，，导致行业恒久处于 “数据孤岛” 状态。。 。。
为了彻底突破这一瓶颈，，，，研究团队倾力打造了迄今为止全球规模最大、术式最富厚、笼罩最周全的手术视频预训练数据集 ——SurgMotion-15M：
超概略量：包括3,658 小时的真实手术视频，，，，总帧数高达1500 万帧！ 。；；；；极高多样性：汇聚了来自50 个差别数据源的珍贵影像；；；；全科室笼罩：横跨13 个主要剖解区域，，，，涵盖腹腔镜、胸腔镜、神经外科、眼科、耳鼻喉科等多学科重大术式。。 。。
云云重大且高质量的数据滋养，，，，赋予了 SurgMotion 史无前例的泛化能力与跨科室通用性。。 。。
图 3：SurgMotion-15M 与海内外主流手术视频数据集的总时长比照。。 。。
03. 模子参数史上首次迈入十亿级
在1B 参数支持下，，，，SurgMotion 乐成整合视频特征空间，，，，将手术视频焦点动态与时空信息深度学习。。 。。该模子对器械 - 组织交互、组织形变及操作节奏的捕获能力显著逾越以往。。 。。
图 4：预训练数据规模、模子参数目与流程识别性能比照。。 。。
04. 首次周全评测：
笼罩 17 项焦点手术使命
在涵盖手术事情流识别、行动明确、深度预计、病灶支解、器械交互以及手术手艺评估等17 项权威基准测试中，，，，SurgMotion 接受了极其严苛的系统性评测，，，，并展现出了统治级的性能体现：
手术事情流明确（Workflow Recognition）：在 EgoSurgery 数据集上，，，，F1 分数大幅提升 14.6%；；；；在 PitVis 数据集上提升 10.3%。。 。。行动三元组识别（Action Triplet Recognition）：在行业公认的 CholecT50 数据集上，，，，以39.54% mAP-IVT 的优异效果刷新天下纪录；；；；静态视觉与几何感知：在深度预计使命中，，，，误差平均降低2.95%；；；；在息肉 / 病灶支解使命中，，，，精度相较于既有最强模子平均提升约1.0%，，，，展现出极强的空间几何感知力。。 。。
无论是宏观的手术方法推理，，，，照旧微观的器械 - 组织交互，，，，SurgMotion 都用详尽的评测数据证实晰其作为通用底座的强盛实力。。 。。
图 5. SurgMotion 在各项主流手术明确使命及科室中的性能雷达图
05. 全球生态共识：推下手艺落地与相助
关于宽大医疗 AI 科研团队而言，，，，数据洗濯、算力开销以及繁琐的情形设置往往是阻碍立异的最大痛点。。 。。因此，，，，SurgMotion 在 GitHub 和 Hugging Face 上周全开放了模子权重、微调代码、开箱即用的评估框架与情形设置接口。。 。。自宣布以来，，，，SurgMotion 的影响力已从学术界快速延伸至全球医疗手艺与临床研究生态，，，，并在工业界、科研机构和临床场景中形成普遍共识：
工业相助方面：已有至少5 家医疗科技企业和行业机构申请使用 SurgMotion，，，，包括Intuitive Surgical（达芬奇手术机械人公司）、Karl Storz（内镜装备龙头）和ZEISS（光学与医疗装备企业）等研发团队，，，，用于手术视频明确、内镜智能剖析、机械人辅助手术等偏向的手艺评估与应用探索。。 。。高校与科研生态方面：已有至少22 所高校和科研机构加入 SurgMotion 的使用与验证，，，，包括Duke University、慕尼黑工业大学（TUM）、悉尼大学、香港科技大学、澳门大学等团队，，，，研究偏向笼罩手术 VLA 模子开发、视频特征提取、时序推理、手术行动明确和多模态手术智能等前沿领域。。 。。临床实践相助方面：已有至少 7 家医院、医学院及临床相关机构申请使用 SurgMotion，，，，包括 Samsung Medical Center、Bucheon Sejong Hospital、Southern Medical University、Thomas Jefferson 等机构，，，，围绕手术教学、术中质量评估、数据质控和结构化复盘等真实临床需求开展探索。。 。。特殊是，，，，SurgMotion 团队与港大深圳医院细密相助，，，，通过自动化手术视频结构化剖析，，，，推下手术标准化教学、手术质量复盘与临床质控流程的智能化升级。。 。。
这一生态扩展为 SurgMotion 提供了从基础研究、工业验证光临床落地的多维应用场景，，，，也进一步体现了其作为手术视频基础模子的通用能力与真实天下价值。。 。。
中国科学院香港立异研究院人工智能与机械人立异中心聚焦人工智能与生命康健的融合立异，，，，围绕多模态大模子、具身智能、数字孪生开展研发，，，，入选香港InnoHK妄想。。 。。中心坚持临床和工业需求为驱动，，，，以为医生患者创立价值为目的，，，，成建制开展面向医疗AI 的研发与转化。。 。。
