加州大学与Adobe联合提出OmniRoam框架，支持从单张图片生成可控全景视频，实现360°无限漫游。该方法解决了传统模型的视角限制和场景一致性问题，支持用户指定相机轨迹，适用于VR/AR及3D重建。论文、主页及代码已开源。
Tags:
在视频生成领域，传统透视视频模型受限于视角和场景覆盖范围，难以实现高质量的长距离场景漫游。为了解决这一问题，加州大学尔湾分校、加州大学圣地亚哥分校及Adobe Research等机构的研究人员共同提出了OmniRoam，这是一种可控全景视频生成框架，通过利用全景表示的丰富单帧场景覆盖率和长期时空一致性，实现了高质量的长距离场景漫游。OmniRoam不仅在视觉质量、轨迹可控性和长期全局一致性方面表现出色，还拓展了实时生成和3D重建的应用边界。
这是一个基于网络的交互式系统，用于使用 OmniRoam 模型生成全景视频。该系统为视频生成的预览、自动生成和优化阶段提供了用户友好的界面。
相关链接
-
论文：https://arxiv.org/abs/2603.30045 -
主页：https://yuheng.ink/project-page/omniroam/ -
仓库：https://github.com/yuhengliu02/OmniRoam
论文介绍
OmniRoam旨在解决透视视频模型在场景建模中的局限性，通过提出一种可控全景视频生成框架，实现了高质量的长距离场景漫游。该框架利用全景表示的丰富单帧场景覆盖率和长期时空一致性，通过预览和精修两个阶段，逐步生成高分辨率、长时间的全景视频。此外，OmniRoam还引入了闭环一致性评估指标，科学量化场景级视频生成中的长期全局一致性。
方法概述
OmniRoam 的技术架构巧妙结合了几何约束与扩散模型，主要包含三大核心模块：
-
球面潜在扩散模型 (Spherical Latent Diffusion Model, SLDM) -
核心重构：摒弃传统的平面VAE，设计了专为360°全景图优化的球面变分自编码器。 -
优势：直接在球面潜空间中进行去噪生成，天然消除了经纬度映射带来的极点畸变和接缝问题，确保全景图的几何完整性。 -
长时一致性记忆机制 (Long-Horizon Consistency Memory) 突破难点：如何解决长距离漫游后的“遗忘”问题（即回到原点时场景是否一致）？ -
解决方案：引入全局场景记忆库，记录已生成区域的语义和几何特征。当相机漫游回已访问区域时，模型通过循环一致性损失（Loop Consistency Loss）强制当前生成结果与记忆库对齐。实验显示，其循环一致性得分是自回归基线方法的近两倍。 -
可控相机轨迹引导 (Controllable Camera Trajectory Guidance) -
灵活交互：支持用户通过指定相机路径（如前后移动、左右旋转、上下俯仰）来控制视频内容。 -
技术细节：将相机位姿参数作为条件注入到扩散模型的注意力层中，使模型能够根据预设轨迹精准渲染对应视角的画面，实现“指哪打哪”的漫游体验。
实验
-
定量比较。该方法在所有评估指标上均优于先前的方法，实现了更优的视觉质量、更强的轨迹可控性和更高的循环一致性。FAED、SSIM 和 LPIPS 均基于 81 帧进行评估，而循环一致性则基于完整序列进行评估。 -
定性比较。该方法生成的全景视频能够紧密跟随输入轨迹，并保留输入图像中更清晰的细节，而以往的方法通常会产生模糊的伪影或语义不一致的内容。
结论
OmniRoam作为一种可控全景视频生成框架，通过全局到局部的生成策略、相机轨迹控制的解耦设计、混合数据集构建以及闭环一致性评估指标，实现了高质量的长距离场景漫游。其在视觉质量、轨迹可控性和长期全局一致性方面均表现出色，并拓展了实时生成和3D重建的应用边界。随着代码的正式开源，OmniRoam有望推动视频生成领域的发展，为沉浸式3D漫游、虚拟现实、增强现实等领域带来更加便捷和高效的视频生成工具。
感谢你看到这里，添加小助手 AIGC_Tech 加入官方 AIGC读者交流群，下方扫码加入 AIGC Studio 星球，获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等，欢迎一起交流学习💗～
没有评论:
发表评论