国防科技大学虚拟现实与视觉盘算团队（SAW Lab）联合先进制导与控制手艺国家级重点实验室等推出面向航拍几何 3D 视觉的统一大规模数据集与评测基准「AirZoo」。。。。。。
团队宣布了基于 AirSim-Cesium-Unreal 的自动化仿真管线，，， ，以及 AirZoo 合成数据集和 AirZoo-Real 真实评测集。。。。。。合成数据笼罩全球 22 个国家、377 条气象条件轨迹，，， ，包括凌驾 120 万帧像素级 RGB-D 数据及对应的 6-DoF 地理位姿标注，，， ，统一支持航拍图像检索、跨视角匹配与多视图 3D 重修三大使命。。。。。。
现现在，，， ，视觉基础模子在街景、室内等常见场景中已经取得了不错的效果，，， ，但无人机航拍中的重大视角、标准和情形转变仍会带来新的挑战。。。。。。
AirZoo 从训练数据入手，，， ，为模子顺应航拍几何 3D 视觉使命提供了新的支持。。。。。。实验批注，，， ，仅使用 AirZoo 对 MegaLoc、RoMa、VGGT、Depth Anything 3 等主流模子举行微调，，， ，便能在果真基准以及团队新收罗的 AirZoo-Real 真实航行数据上带来显著提升。。。。。。；；谎灾，，， ，AirZoo 并非只是在扩大数据规模，，， ，而是在为无人机空间智能提供一套可扩展、可复现的预训练引擎。。。。。。该研究效果已被 ECCV 2026 吸收。。。。。。
AirZoo总览。。。。。。上图：基于全球标准3D Tiles的百万级合成UAV数据，，， ，具备像素级几何真值与富厚航行轨迹；；；下图：在AirZoo上微调后，，， ，SoTA模子在航拍图像检索、跨视角匹配、多视图3D重修三大几何3D视觉使命上均获得显著性能提升。。。。。。
论文问题：AirZoo: A Unified Large-Scale Dataset for Grounding Aerial Geometric 3D Vision论文主页：https://nudt-sawlab.github.io/AirZoo/论文链接：https://arxiv.org/abs/2604.26567渲染引擎：https://github.com/nudt-sawlab/AirZoo数据宣布：https://huggingface.co/datasets/choyaa/AirZoo/tree/main真实评测集：https://huggingface.co/datasets/RingoWRW97/AirZoo-Real/tree/main
研究念头：航拍几何 3D 视觉，，， ，
事实缺了什么 ？？
近年来，，， ，大规模数据驱动的 3D 视觉基础模子在地面视角的检索、匹配与重修使命上希望迅速，，， ，但其主流训练语料恒久集中于街景、室内和物体中心视角。。。。。。无人机却在 6-DoF 空间中自由航行。。。。。。相机俯仰角可以从斜视快速转为正射，，， ，画面中的修确立面会被屋顶取代，，， ，帧间位移与标准转变也远超通例地面收罗。。。。。。这种强烈的视角域鸿沟，，， ，使在地面数据上训练成熟的模子难以直接迁徙到空中。。。。。。
比视角转变卦棘手的是几何监视的缺失。。。。。。现有 UAV 数据集往往面临两难取舍。。。。。。一类数据强调光度真实感，，， ，却缺少米制深度与准确位姿；；；另一类虽然提供了一定的几何信息，，， ，但只笼罩少量手工构建的都会场景，，， ，难以支持序列级几何学习。。。。。。与此同时，，， ，真实航拍还会遭遇昼夜交替、晴雨雾雪以及城乡地貌差别。。。。。。小规模合成数据或局部实景收罗，，， ，很难笼罩这类重大的全球安排条件。。。。。。
因此，，， ，AirZoo 并不是简朴增添一个航拍数据集，，， ，而是希望建设一套全球可扩展、几何可验证、情形可控制的数据引擎，，， ，并通过真实航行评考试证从仿真到现实的迁徙能力。。。。。。
焦点思绪：把全球 3D Tiles
酿成可学习的无人机轨迹
AirZoo 的焦点思绪，，， ，是将全球标准的真实地理场景、可控的无人机运动和像素级几何监视接入统一条自动化生产管线。。。。。。研究团队以 AirSim、Cesium 和 Unreal Engine 为基础，，， ，从 WGS84 航点出发自动天生航行轨迹，，， ，按帧同步渲染 RGB、米制深度、相机内加入带地理参考的 6-DoF 位姿。。。。。。这样获得的不再是相互伶仃的航拍截图，，， ，而是具有一连时序关系、可被标准几何流程直接使用的学习数据。。。。。。
第一步，，， ，是买通AirSim-Cesium-Unreal 自动化渲染管线。。。。。。Python 控制器认真下发全球 WGS84 航点，，， ，Cesium for Unreal 将 Google Photorealistic 3D Tiles 流式载入 UE5，，， ，AirSim 则认真多旋翼 UAV 和虚拟相机的同步收罗。。。。。。相比只提供单帧图像的检索数据集，，， ，AirZoo 可以输出一连 30 fps 的轨迹级 RGB-D 数据和可验证几何真值，，， ，既能直接服务 COLMAP 等标准流程，，， ，也能为端到端模子提供稳固的 3D 监视。。。。。。
AirSim-Cesium-Unreal仿真管线。。。。。。Python生玉成球航迹，，， ，Cesium载入3D Tiles，，， ，AirSim同步收罗RGB、深度与地理位姿。。。。。。
第二步，，， ，是把数据规模从少数场景扩展到全球情形。。。。。。AirZoo 横跨六大洲 22 个国家，，， ，包括 95 条基础航行序列与 377 条气象条件轨迹，，， ，累计航行约 2400 km，，， ，天生凌驾 120 万帧、分辨率为 1600×1200 的图像。。。。。。数据笼罩都会、墟落和自然地貌，，， ，并系统模拟晴、阴、雨、雾、雪以及昼间、黄昏、夜间等条件；；；相机俯仰角在 10° 斜视至 90° 正射之间动态扫掠，，， ，航行高度笼罩 0 至 800 m 的低空生态圈。。。。。。
这种大规模全球笼罩与可控情形扰动的组合，，， ，目的不是简朴增添图像数目，，， ，而是迫使模子关注跨地区、跨天气仍然稳固的几何结构，，， ，镌汰对局部纹理和特定外观的影象。。。。。。
AirZoo构建流程与数据属性：全球区域选取、仿真收罗、同步RGB-D渲染与多条件多样性展示。。。。。。
AirZoo综合统计：区域/情形/天气漫衍、全球笼罩规模，，， ，以及高度与俯仰角包络。。。。。。
第三步，，， ，是让合成数据的几何质量能够被严酷验证。。。。。。AirZoo 为每一帧提供针孔相机内参，，， ，以及 WGS84 和 ECEF 双坐标系下的 6-DoF 位姿。。。。。。团队通过邻帧双向重投影检查其几何一致性，，， ，获得的中位相对深度误差低于 0.1%。。。。。。同时，，， ，研究职员网络果真的 DJI 实拍视频，，， ，并在 AirZoo 中复现相同视点举行真实与合成比照。。。。。。效果显示，，， ，合成视图在场景结构、目的标准和结构纹理上均与真实航拍具有较高可比性，，， ，为 Sim-to-Real 迁徙提供了可信基础。。。。。。
几何验证：重投影误差CDF（中位0.066%），，， ，以及统一区域差别天气轨迹下的多视图对应与共视关系。。。。。。
相同视点下的真实航拍与AirZoo合成渲染比照。。。。。。
第四步，，， ，是用一套数据统一三条航拍几何 3D 视觉赛道。。。。。。在航拍图像检索中，，， ，系统需要凭证 UAV 盘问图，，， ，从带地理标注的卫星瓦片中找到对应区域，，， ，实现跨视角地理定位；；；在跨视角匹配中，，， ，系统要在 DOM/DSM 参考图与斜视 UAV 图像之间建设几何对应，，， ，为位姿预计提供约束；；；在多视图 3D 重修中，，， ，模子则需要从 UAV 序列恢复相机位姿与浓密几何。。。。。。为了阻止评测只停留在合成域，，， ，团队还宣布了 AirZoo-Real 真实航行评测集。。。。。。该数据集笼罩长沙等都会与墟落场景、差别昼夜时段，，， ，并提供 RTK 准确定位，，， ，专门用于磨练算法进入真实航拍情形后的性能上限。。。。。。
AirZoo训练与零样本测试数据集划分。。。。。。训练集与测试集在空间上无重叠，，， ，笼罩检索、匹配与重修三类使命。。。。。。
实验效果
实验中，，， ，团队坚持模子架构稳固，，， ，仅使用 AirZoo 对现有模子举行微调，，， ，并在航拍图像检索、跨视角匹配和多视图 3D 重修三个使命中视察模子在真实航拍域中的转变。。。。。。完整的定量效果及差别数据集上的详细比照均列于论文原文的实验表格中，，， ，本文仅选取部分代表性指标，，， ，并连系定性效果举行先容。。。。。。
在航拍图像检索使命上，，， ，AirZoo 增强了模子在重大跨视角场景中的地理定位能力。。。。。。以 MegaLoc 为基座举行微调后，，， ，模子在 AirZoo-Real 上的 R@1 由 6.46% 提升至18.66%，，， ，R@5 由 22.16% 提升至50.53%。。。。。。从定性效果也可以看到，，， ，面临真实斜视航拍、标准转变和光照差别，，， ，现有要领容易返回外观相似但位置过失的卫星图像。。。。。。使用 AirZoo 微调 MegaLoc 后，，， ，模子能够更稳固地检索到与盘问图像对应的区域。。。。。。这说明 AirZoo 所提供的多样化视角与情形转变，，， ，有助于模子跨越航拍图像与卫星图像之间的域差别。。。。。。
跨视角地理定位定性比照。。。。。。绿色/粉色边框划分体现检索准确与过失；；；AirZoo微调后Top-1卫星瓦片检索在重大视角与光照转变下更稳固。。。。。。
在跨视角匹配使命上，，， ，经 AirZoo 微调的 RoMa 爆发了更可靠的几何对应。。。。。。在 AirZoo-Real 定位使命上，，， ，模子的中位误差降至3.03 m，，， ，acc@5m 提升至79.78%。。。。。。原始 RoMa 在大幅视角转变下容易将局部纹理过失关联，，， ，纵然经由大规模航拍视频数据训练的 GIM RoMa 仍会泛起局部误匹配。。。。。。相比之下，，， ，AirZoo RoMa 的匹配点更匀称地漫衍在蹊径、修建等静态结构上，，， ，并显着镌汰了过失对应，，， ，为后续位姿预计提供了更稳固的几何约束。。。。。。
AirZoo-Real跨视角匹配定性效果。。。。。。粉色框标蜕化误匹配区域；；；AirZoo微调后的RoMa在航拍跨视角条件下爆发更可靠的几何对应。。。。。。
在多视图 3D 重修使命上，，， ，Depth Anything 3 与 VGGT 均从 AirZoo 训练中获得了显着收益。。。。。。 在 AirZoo-Test 上，，， ，DA3-Large 的 F1 由 54.10 提升至86.09。。。。。。在 UrbanScene3D 上，，， ，VGGT 的 F1 由 43.38 提升至52.61。。。。。。定性比照进一步显示，，， ，原始模子容易泛起局部结构缺失、几何断裂和伪影。。。。。。经 AirZoo 微调后，，， ，重修效果笼罩更完整，，， ，修建、蹊径与植被等场景结构也越发连贯。。。。。。差别数据集上的一致改善批注，，， ，AirZoo 能够为模子增补航拍域所需的几何先验，，， ，并提升其向真实航行场景迁徙的能力。。。。。。
AirZoo-Real、UAVScenes与UrbanScene3D上的重修定性比照。。。。。。红色框标出原始模子的缺失或过失区域，，， ，微调后几何更完整、伪影更少。。。。。。
总结与思索
AirZoo 将全球可扩展仿真、像素级几何真值和三使命统一评测整合为一套面向无人机空间智能的数据与评测平台。。。。。。它的价值不但在于百万量级这一规模，，， ，更在于把全球 3D 地理场景转换成一连、可验证、可复现的学习轨迹，，， ，让检索、匹配与重修模子能够在统一套几何监视下获得航拍先验。。。。。。
从实验效果看，，， ，AirZoo 为现有视觉基础模子增补了跨视角、跨标准和重大情形下的航拍几何知识。。。。。。经由 AirZoo 训练后，，， ，这些模子在真实航拍域中的检索稳固性、匹配可靠性和重修完整性均获得改善。。。。。。这批注，，， ，大规模、多样化且带有准确几何监视的合成数据，，， ，能够有用推动视觉基础模子向真实无人机使命迁徙。。。。。。团队同系列的 PiLoT 等定位事情，，， ，同样受益于这套 AirSim-Cesium-Unreal 数据范式。。。。。。
未来，，， ，团队将继续扩展数据规模与真实基准的笼罩规模，，， ，推动航拍几何 3D 视觉在智慧都会、应急测绘和无人系统等场景中的现实落地。。。。。。
