3DGS背景补全:解决VR户外场景天空缺失,实现完整沉浸式渲染
针对这一局限,研究团队提出DomeGS框架,将生成式背景补全与3DGS场景重建相结合,使天空及远景直接成为统一三维场景的一部分。研究团队认为,DomeGS为3DGS户外场景的背景补全提供了一种新的技术路径,有助于改善基于真实环境重建的VR内容质量。
编译/VR陀螺
在10月27号, 有研究人员从波兰雅盖隆大学、英国剑桥大学这样的一些机构里来, 他们在arXiv上头发表了一篇论文, 这篇论文的标题是《: for 3D in 》, 他们提出了一种叫名的三维场景背景补全框架, 这一套框架的目的是要解决在重建户外VR场景时, 如果用3D高斯泼溅, 简称是3DGS的话, 会出现天空内容缺失、地平线内容缺失, 还有远景内容缺失这些个问题。

大家都明白, 3DGS这个技术能够使用图像数据去重建那种保真度非常高的三维场景, 同时也支持进行实时渲染, 不过在尝试去重建大范围户外环境的时候, 因为远处的物体缺少足够的视差信息以及几何信息, 就特别容易出现天空部分缺失或者场景边缘不连续还有悬浮伪影这样的问题, 这就影响了用户能够在虚拟现实的环境当中获得的沉浸体验。
传统的VR应用往往使用天空盒或者是天空穹顶来填充远景部分, 然而, 这样的独立背景方案有时候会与通过3DGS技术重建出的近景内容在颜色、光照效果以及透视关系方面存在差别, 特别是在用户移动视角的时候, 画面衔接问题尤其容易被用户发现。
针对这一局限, 研究团队提出了一个框架。这个框架将生成式背景补全工作, 和3DGS场景重建技术相结合。这样做的效果是使天空以及远景, 直接成为统一三维场景的一部分内容。

在技术方面来讲, 我们首先要做的事情是从那些已经存在了的三维高斯溅射场景里面去把全景图像给提取出来。然后用那个生成模型去做补全的工作, 主要是针对那些缺失的天空部分以及远景内容来进行处理。
随后我们会根据这个场景的具体的几何结构来去生成新的、多视角的训练数据。接着是在一个半径受到了限制的球形区域内部去添加和优化那些高斯基元。一直到最终把补全之后的背景信息和原有的三维场景融合在一起为止。
这玩意儿和传统那种天空盒不一样, 当用户在移动的时候, 它能展现出更符合空间深度这种关系的运动视差, 然后呢, 它还能改善在远处景物和近处景物之间的视觉连续性的问题, 把背景接缝以及光照不一致这些毛病给减少掉。
在实验这一方面, 研究团队进行了招募工作, 一共招了36名参与者来参加, 并且使用Meta Quest Pro头显设备对四组户外活动场景进行了测试工作, 同时将这些测试得到的体验感受和传统天空盒方案的情况进行了比较, 来看出来它们之间的体验差异具体是什么。
研究结果呈现出一种让人容易理解的直观状态, 具体体现为两个核心维度发生了具有统计学意义的积极变化, 这两个维度分别是空间临场感以及感知真实感, 其对应的数值显示为p=0.042。
在随后开展的主观偏好调查环节, 收集到的反馈数据同样能够以一种通俗且直接的方式被大众所解读, 其中有75%的参与个体表达了明确的意愿, 即他们更倾向于在已经实施应用了该技术的虚拟环境空间内持续较长时间地停留体验。
更为详细的数据支撑表明, 有69.4%的参与个体认为当前这种形式的环境设定, 相较于其他选项, 更加适合于对全景场景内容的观看需求, 这一比例数字清晰地反映了大多数人对这种呈现方式的认可程度。
此外, 在任务完成时间上未呈现明显差异, 在头部移动距离上未呈现明显差异, 在VR眩晕症状评分上也未呈现明显差异, 这表明, 虽然提升了场景真实感, 却未在带来显著增加的操作负担方面产生结果, 也从未带来不适感的任何显著增加现象。
研究团队觉得, 他们给出的这个办法, 算是一种新的技术路径, 是用来给3DGS户外场景做背景补全的, 这样做的话, 是有助于改善那些基于真实环境重建的VR内容的质量的, 不过, 目前相关的这些成果, 还处在研究阶段里面, 它们在更加复杂的场景里面以及实际的应用里面的表现情况怎么样, 这一方面, 仍然需要有待进一步的去验证一下。