泉源：漆黑隧道突遇羊群 车主撞死32只作者： 黄群一：

CVPR前沿视察：AI下半场，，，，阿里云破题Agent

作者 ｜ 吴瑞琪邮箱 ｜ rachelwu@pingwest.com

已往，，，，CVPR 体贴的是机械怎样望见天下，，，，而到了 Agent 时代，，，，问题已经变得更重大：AI 望见之后，，，，能不可明确天下、天生天下，，，，并把这些能力接入真实营业？？？

这也让一批来自真实营业的新问题进入研究视野。
。。。。

一个在真实场景里事情的 Agent，，，，面临的天下不会只是一行简朴的 prompt。
。。。。它可能看到一份图文混排的条约、一张被重复修悔改的设计稿，，，，或者一组相互矛盾的外部资料。
。。。。Agent 不但要读懂，，，，还要判断、检索、天生、修改，，，，最后把效果交出去。
。。。。

这也是为什么，，，，已往一年行业对 Agent 的讨论，，，，越来越集中在系统能不可闭环上。
。。。；；峄馗参侍庵皇瞧鸬，，，，真正决议 Agent 能否进入营业流程的，，，，是它能不可处理重大输入、控制运行本钱，，，，并产出可交付的效果。
。。。。

在海内科技公司中，，，，阿里云是 Agent 实践中履历最富厚的厂商之一，，，，他们提出的全栈支持 Agent，，，，不是单个模子，，，，而是一套从算力、模子、推理、工具、平台到应用开发的能力栈。
。。。。今年阿里入选 CVPR 的一批论文，，，，则进一步展示了在 AI 前沿领域阿里云的最新探索。
。。。。

把这批论文放在一起，，，，可以看到一条清晰的研究脉络：从 Agent 落地中涌现出的真实需求出发，，，，通过新的数据、结构和训练要领，，，，探索多模态 Agent 能力的下一步。
。。。。

这些探索集中指向 Agent 落地要过的三道门槛：看得懂、跑得起、能交付。
。。。。

看得懂：Agent 怎样明确重大文档

许多 Agent Demo 看起来十分顺滑，，，，是由于输入已经被人为整理过。
。。。。但真实营业不是这样。
。。。。条约里同时有表格、条款和批注，，，，财报里混淆着文字、图表和脚注，，，，手艺文档中包括公式、截图与代码。
。。。。更贫困的是，，，，这些质料相互之间甚至还可能保存相互冲突。
。。。。

因此，，，，Agent 的“看得懂”，，，，远不但是识别图片中有什么。
。。。。

CodePercept (Code-Grounded Visual STEM Perception for MLLM) 处理的是一个被恒久低估的瓶颈： STEM 图像明确。
。。。。已往，，，，多模态模子在理工科学类使命中频仍蜕化，，，，经常被归因于推理能力缺乏。
。。。。但 CodePercept 指出，，，，瓶颈可能更早就泛起在视觉感知阶段：模子连图像的结构都没有准确读出来，，，，后续推理自然无从谈起。
。。。。

找到瓶颈之后，，，，CodePercept 提出了一个学术界此前很少实验的思绪：用可执行代码作为视觉明确的“验证标准”，，，，让模子通过天生代码来还原图像结构。
。。。。这样一来，，，，模子不再只是凭证视觉外貌作出判断，，，，而是能够沿着图像背后的天生逻辑明确重大内容。
。。。。

看懂单张图像的结构之后，，，，Agent 还要能从大宗文档中“找对信息”。
。。。。

Evo-Retriever (LLM-Guided Curriculum Evolution with Viewpoint-Pathway Collaboration for Multimodal Document Retrieval) 做的正是找信息检索。
。。。。它面向重大视觉文档检索，，，，处理的是图文混排、版式多变、信息疏散的文档情形。
。。。。已往文档检索模子的训练战略通常是牢靠的，，，，但模子在差别训练阶段遇到的问题并不相同。
。。。。Evo-Retriever 引入 LLM 作为元控制器，，，，凭证模子目今状态动态调解训练内容，，，，同时通过多视角图像对齐和双向比照学习处理视觉与文本之间的混淆。
。。。。

在阿斯利康多模态知识库问答测评中，，，，Evo-Retriever 相比纯文本基线，，，，检索准确率提升了 14.1%。
。。。。相关手艺也正在落地阿里云 OpenTrek 一站式智能体工厂，，，，让 Agent 在面临企业知识库、手艺文档和图表麋集型质料时，，，，能够真正准确使用文档中的视觉信息。
。。。。

但找到质料还不是终点。
。。。。真实营业中，，，，差别泉源之间甚至可能相互矛盾。
。。。。

CC-VQA (Conflict- and Correlation-Aware Method for Mitigating Knowledge Conflict in Knowledge-Based Visual Question Answering) 关注的就是知识型视觉问答中的冲突。
。。。。它做了两个已往少有人做的实验：一是把视觉信息重新放回知识冲突判断的中心，，，，让模子围绕视觉信息去判断外部上下文和内部参数知识之间的冲突；；二是在不重新训练模子的情形下，，，，通过压缩低相关上下文的位置编码，，，，并在解码阶段凭证冲突水平动态调解输出。
。。。。

落到产品里，，，，客服 Agent、数据剖析 Agent、办公 Agent，，，，都会遇到统一个问题：外部质料许多，，，，但不是每条都该信。
。。。。真正可用的 Agent，，，，需要知道哪些信息和目今营业问题真正相关。
。。。。

综合来看，，，，这三篇论文通过新的解决思绪，，，，回应了 Agent “看得懂”的三个条理：读懂结构、找准依据、在矛盾信息中作出可靠判断。
。。。。

跑得起：视频明确天生怎样进入生产情形

Agent 的另一道硬门槛，，，，是本钱。
。。。。

许多 Agent 的多模态能力在 Demo 里已经可以实现，，，，但进入真实营业后却未必可一连。
。。。。一次使命跑通并不难，，，，难的是把统一种能力放进天天成千上万次挪用的营业系统里，，，，同时控制延迟、吞吐、显存和单位挪用本钱。
。。。。

视频尤其云云。
。。。。视频明确需要处理大宗帧和视觉 token，，，，视频天生则要在多个扩散方法中重复盘算。
。。。。当 Agent 需要重复挪用模子、一直检查和修正效果时，，，，这些开销会在整条使命链路中被成倍放大。
。。。。

阿里云这批 CVPR 论文中，，，，RAPID 和 EarlyTom 划分从视频天生和视频明确两头优化这个问题。
。。。。

RAPID (Reusing Attention Sparsity with Inter-step Adaptation) 从注重力机制入手，，，，捉住了一个纪律：视频扩散模子要走许多步才华天生效果，，，，而相邻两步之间的盘算着实高度相似，，，，没须要每一步都重新算。
。。。。RAPID 的新意在于自顺应：它凭证每一步的现实注重力希罕水平动态决议复用战略，，，，在天生质量基本不受影响的条件下，，，，大幅降低视频扩散推理的盘算量。
。。。。

在 Wan2.1-14B 和 HunyuanVideo 上，，，，RAPID 的高保真模式在相同盘算预算下凌驾已有基线，，，，Turbo 模式则划分实现最高 1.79 倍和 2.01 倍加速，，，，同时维持较强的视觉质量。
。。。。

EarlyTom (Early Token Compression Completes Fast Video Understanding) 针对的是视频明确的速率。
。。。。它在早期就对视频 token 做压缩，，，，让模子还没看完所有帧时就能最先有用推理。
。。。。？？吹酶，，，，也能给出准确判断，，，，对实时性要求高的场景尤其有用。
。。。。

在单张 NVIDIA A100 上运行 LLaVA-OneVision-7B 时，，，，EarlyTom 最多将首 Token 延迟改善 2.65 倍，，，，FLOPs 镌汰 61%，，，，并坚持与完整 Token 基线靠近的准确率。
。。。。

一篇镌汰视频天生中的重复盘算，，，，一篇压缩视频明确中的冗余信息，，，，两篇论文处理的环节差别，，，，但指向统一个目的：让多模态能力在 Agent 的使命链路中真正跑得起。
。。。。

生产情形中的模子能力，，，，历来不但是一个准确率数字。
。。。。延迟、吞吐、显存、单位挪用本钱，，，，都是产品能力的一部分。
。。。。“跑得起”不是纯粹把模子做小或把速率做快，，，，而是用新的要领镌汰被忽视的盘算冗余，，，，让一次挪用足够快、足够自制，，，，一连挪用也不会拖垮系统。
。。。。

能交付：天生效果怎样酿成可用产出

许多天生式 AI 产品到今天仍然卡在最后一步：它能天生一个效果，，，，但用户很难把它改到可用。
。。。。

Qwen-Image-Layered (Towards Inherent Editability via Layer Decomposition) 研究的正是图像的可编辑性。
。。。。它把单张 RGB 图像拆成多个语义上相互自力的 RGBA 图层，，，，让人物、配景、文字、装饰元素等可以被划分操作。
。。。。

Qwen-Image-Layered 团队：现在许多图像编辑要领，，，，实质上是重新天生一遍，，，，或者只在局部区域做 inpainting，，，，以是很容易“牵一发而动全身”。
。。。。好比用户只是想把人物往右移动，，，，配景里的海浪却也被改掉了。
。。。。我们想做的是像 Photoshop 一样，，，，把图像拆成多个图层，，，，人物、配景、文字、装饰元素都能单独编辑。
。。。。 古板要领通常是先支解，，，，再补全，，，，流程较量割裂。
。。。。图片支解可能不清洁准确，，，，补配景又会引入新的瑕疵。
。。。。凯时AG方案是 end-to-end 的，，，，在一个 diffusion 历程中直接完成图层剖析，，，，不需要把支解、补全、编辑拆成多个方法。
。。。。

天生只是最先，，，，只有当效果能被用户、设计师、运营或下游工具继续使用，，，，才算真正进入事情流。
。。。。这也是为什么“可编辑”比“天生得悦目”更靠近工业需求。
。。。。

Wan-Weaver (Interleaved Multi-modal Generation via Decoupled Training) 解决的是另一种交付问题：图文交织天生。
。。。。图文交织天生通常面临一个矛盾：把图文能力完全联合训练，，，，容易相互滋扰；；彻底拆开，，，，又难以坚持内容连贯。
。。。。Wan-Weaver 实验将文本妄想和视觉一致性建模解耦，，，，让模子先确定叙事与结构，，，，再天生与上下文一致的视觉内容。
。。。。它被选为CVPR Oral，，，，也说明这类“完整多模态内容单位”的天生正在成为值得关注的研究偏向。
。。。。

Wan-Weaver 图文交织生乐成能已经在万相 2.6 （Wan 2.6）版本中上线。
。。。。到后续 2.7 版本，，，，产品形态则进一步聚焦组图天生能力。
。。。。未来的内容型 Agent 交付的，，，，除了素材，，，，还可以是一个有结构、有叙事、有视觉一连性的内容单位。
。。。。

数字人相关论文，，，，则展示了另一条更具工业落地感的交付链路。
。。。。

OMG-Avatar (One-shot Multi-LOD Gaussian Head Avatar) 和 MeshLAM (Feed-Forward One-Shot Animatable Textured Mesh Avatar Reconstruction) 解决的是建模门槛：只用一张图，，，，就能重修出可驱动的 3D 头像。
。。。。前者通过多精度层级适配差别算力和渲染需求，，，，后者选择 mesh + texture 蹊径，，，，强调更快进入现有动画、游戏和数字人制作流程。
。。。。

AnyID (Ultra-Fidelity Universal Identity-Preserving Video Generation from Any Visual References) 解决的是身份一致性：当模子用多张照片或视频作为参考，，，，天生统一个人在差别场景、行动、心情下的视频时，，，，怎样包管这个人始终像自己。
。。。。

AnyID 团队：已往许多要领只用单张图片作为人物参考，，，，但用一张 2D 静态图去推断一个人的 3D 动态结构，，，，自己就是信息缺乏的。
。。。。单张图看不到另一侧脸，，，，也不知道这个人在差别心情、行动下的肌肉和骨骼运动。
。。。。以是天生效果可能“乍看像”，，，，但熟悉这个人的人会以为怪。
。。。。凯时AG思绪是引入统一个人的多个参考，，，，照片或视频都行，，，，指定一张主参考做锚点，，，，只用 differential prompt 说明要改什么，，，，其余自动和主参考一致。
。。。。

与古板依赖三维渲染、材质和骨骼绑定的数字人流程相比，，，，这种方式门槛更低，，，，用户用 text prompt 就能控制配景、行动和衣着发型。
。。。。虽然，，，，它现在还不可完全替换高精度、强稳固性的古板 3D 流程，，，，但已经展示了更无邪的内容生产路径。
。。。。

PortraitDirector (A Hierarchical Disentanglement Framework for Controllable and Real-time Facial Reenactment) 则处理实时驱动和细腻控制，，，，把头姿、嘴型、眼神、心情和情绪拆开，，，，再重新组合成自然的视频输出。
。。。。

这几篇论文放在一起看，，，，数字人能力正在从单点天生，，，，走向一条完整内容生产链：建模、驱动、坚持身份一致、实时表达。
。。。。

这正是“能交付”的寄义：Agent 不但完成一次天生，，，，而是把效果做成可编辑的文件、可直接消耗的内容，，，，或能够继续流转的生产资产。
。。。。

CVPR 上的这批论文，，，，是一组仍在推进的关于 Agent 落地的前沿探索。
。。。。它们研究的问题都来自真实场景：看得懂，，，，Agent 才华从重大图像、文档和外部知识中获得可靠信息。
。。。。跑得起，，，，这些能力才有可能被高频、一连地挪用。
。。。。最后能交付，，，，模子输出才不会停留在 Demo，，，，而会成为真正进入事情流的效果。
。。。。

许多 Agent 最终不是败在不会挪用工具，，，，而是败在读错质料、本钱失控，，，，或者只交出一个不可继续使用的半制品。
。。。。而论文里这些方规则提供了一批新的判断、新的要领和经由实验验证的新路径。
。。。。

以是，，，，“全栈支持 Agent”不但只是底层算力、云平台和推理服务，，，，模子侧同样需要补齐明确、效率与交付三种能力。
。。。。阿里云这批 CVPR 论文所展示的，，，，正是这三块拼图：看得懂、跑得起、能交付。
。。。。

当这三件事同时建设，，，，Agent 才真正具备进入真实营业的条件。
。。。。

点个“爱心”，，，，再走 吧