NVIDIA空间智能实验室推出TRON：追踪光线以协调神经渲染器进行 3D 高斯重建
NVIDIA空间智能实验室推出TRON ，它是一个可重新照明的 3D 高斯渲染管线，它将重建的场景与 从预训练的视频扩散模型改编的单步神经渲染器相结合，在交互式帧速率下实现照片级真实的渲染质量，同时保留完整的 3D、材质和照明控制。NVIDIA空间智能实验室推出了 TRON，这是一个结合了 3D 高斯光线追踪（3D Gaussian ray tracing）与神经渲染（neural rendering）的渲染框架。该框架支持在新的光照条件、动态物体运动、物体插入及材质编辑等场景下，对真实世界 3D 场景进行逼真且可控的渲染。以往仅依赖基于物理的渲染（PBR）来处理高斯表征的方法，往往难以实现逼真的重光照效果，这主要是因为重建的几何结构、材质估计及光传输估计存在缺陷。与此同时，神经渲染方法通常缺乏显式的场景表征，从而限制了其支持精细化交互编辑的能力。TRON 有效地融合了这两种范式。
利用从已学习的逆向渲染模型中获取的本征分解先验（intrinsic decomposition priors）来约束高斯场的材质属性，并重新利用光线追踪器来提供辐射度指导（radiometric guidance），而非直接生成最终像素。通过将该输出视为结构化的 3D 骨架，我们使轻量级神经渲染器能够弥合“受着色模型约束的估计结果”与“照片级逼真输出”之间的域差异。核心见解在于：显式 3D 知识与稳健材质先验的结合提供了速度与可控性，而神经渲染则实现了照片级逼真图像的合成。为了适应真实世界场景，我们采用多阶段策略训练神经渲染器，包括大规模预训练以及针对性微调；训练数据基于一个新构建的数据集，该数据集包含 210 万帧由 3D 重建生成的合成图像及真实世界图像。在逼真度方面，TRON 优于现有的基于高斯的重光照方法；在可编辑性和速度方面，它则优于以往的神经渲染器。据我们所知，TRON 是首个能够支持在采集的 3D 环境中进行实用交互式应用的方法，能够在动态几何、光照和材质条件下呈现逼真的视觉效果。
链接如下：
research.nvidia.com (https://research.nvidia.com/labs/sil/projects/tron/)
TRON: Tracing Rays to Orchestrate a Neural Renderer for 3D Gaussian...
A relightable 3D-Gaussian pipeline that pairs ray-traced PBR with a single-step neural renderer adapted from a pretrained video-diffusion model.
https://cdn3.ldstatic.com/optimized/4X/8/2/8/8284c0feab9f08d66c57000caaafc79a5c3bb86e_2_690x190.jpeg 有卧龙的地方，必有凤雏，我跟你干 热爱可抵岁月漫长，完成比完美更重要。
页:
[1]