“实时渲染”主要应用于游戏领域，它能够将图形数据实时转化为极具真实感的 3D 画面，是决定游戏体验的关键因素之一。
对于实时渲染而言，最大的挑战即是渲染速度。通常来讲，渲染一屏幕的游戏场景的图像，至少要在 1/24 秒以内，才不至于有 “翻 PPT”的感觉。
近日，英伟达发表一项最新研究成果将实时渲染速度提升了 2-3 个数量级。
而在渲染质量上，它也能够更好地处理复杂样式、比例的图形数据，甚至实时同步环境光照可能形成的阴影。
Facebook 与 MIT研究团队在 2019 年推出的 DeepSDF，是现有相关研究的最佳 3D 重建模型。
与之相比，无论是在渲染速度，还是质量方面，英伟达的最新研究还要更胜一筹。
橙色代表 DeepSDF 渲染效果
这项最新研究是一篇名为《神经几何细节水平：隐式 3D 形状的实时渲染》的论文，它是英伟达联合多伦多大学、麦吉尔大学研究人员共同发表的研究成果，目前已提交至预印论文库 arXiv。
论文中，研究人员表示，他们通过引入了一种高效的神经网络表示方法，首次实现了基于 SDF 的 3D 高保真实时渲染，同时达到了最先进的几何重建质量。更重要的是，与其他研究相比，它在渲染速度上提升了 2-3 个数量级。
SVO 编码，渲染速度翻倍
SDF，即符号距离函数 Signed Distance Function，是计算机图形学中一种有效的表示方法。
在现有研究中，通常是采用一个较大、具有固定尺寸的多层感知器（MLP）对 SDF 进行编码，以近似代表具有隐式曲面的复杂图形。然而，使用大型网络进行实时渲染导致了昂贵的计算成本，因为它需要让每个像素通过网络地进行向前传递。
基于此，研究团队提出了改用稀疏体素八叉树（SVO）来对几何形状进行编码的方法，它可以自适应地缩放不同的离散细节层次 LOD（ Level of Detail ），并重建高度细节的几何结构。
如图，该方法在不同尺寸的几何体之间平滑地插值，并占用合理内存进行实时渲染。
研究人员介绍，与现有研究一样，他们同样使用了一个小型 MLP 来实现球体跟踪。并且受到经典曲面提取机制的启发，使用了存储距离值的正交和空间数据结构对欧几里德空间进行精细离散化，以使简单的线性基函数可以重建几何体。
在这些工作中，分辨率或树深度决定了 LOD（不同的 LOD 可以与 SDF 插值进行混合）。对此，研究人员使用了稀疏体素八叉树（SVO）来离散空间，并存储学习的特征向量，而不是符号距离值。
这样做的好处是，它允许向量可以通过浅层 MLP 解码成标量距离，在继承经典方法（如 LOD）优点的同时，能够进一步缩短树深度。
在此基础上，研究人员还开发了一种针对该体系结构的光线遍历算法（ Rray Traversal Algorithm），实现了比 DeepSDF 快 100 倍的渲染速度。另外，虽然无法与神经体积绘制方法进行直接比较，但在类似的实验环境中，其帧速度也要比 NeRF 快 500 倍，比 NSVF 快 50 倍。
实验测试，渲染质量更精细
在质量上，研究人员将该方法与 DeepSDF、FFN、SIREN 以及 Neural Implicits（NI）四种算法进行了比较，它们在过度拟合 3D 几何形状方面均达到了现有研究的最佳性能。
以下为不同算法在 ShapeNet、Thingi10K 和 TurboSquid 三个数据集上进行 3D 重建的比较结果。
可以看到，从 LOD3 开始该方法表现出了更好的性能。在第三个 LOD 中，不仅存储参数最小，而且推理参数在所有分辨率上都固定为 4737 个浮点值，与 FFN 相比减少了 99%，与 Neural Implicits 相比减少了 37%。
更重要的是，在低存储和推理参数的情况下，该方法表现出了更好的重建质量。如下图：
与 NI、FFN 相比，该方法能够更加精准地渲染出图像的细节，而且速度比 FFN 快 50 倍。
另外，在渲染质量上，研究人员还将该方法在 Shadertoy 的两个特殊案例中进行了测试：Oldcar，它包含了一个高度非度量的有符号距离场；Mandelbulb，是一个只能用隐式曲面表示的递归分形结构。
这两种 SDF 都是由数学表达式定义的，他们从中提取并采样距离值，测试结果如下：
相比之下，只有该方法的架构才能准确地捕捉复杂示例的高频细节。可以看出，FFN 和 SIREN 呈现的效果非常不理想，其原因可能是因为它们都只能拟合平滑距离场，无法处理不连续性和递归结构，以至于在渲染时很难突出显示几何细节。
总之，通过引入隐式 3D 图形的表示形式 LOD，该方法可以达到最先进的几何重建质量，同时允许更小占用内存下的实时渲染。不过，研究人员也坦言，该方法在大场景、或者非常薄、无体积的的物体上并不适用，这将是未来的一个研究方向。
但从当下来看，该方法代表了基于神经隐函数几何学的一个重大进步，因为它是第一个基于 SDF 实现实时渲染和呈现的表示形式，未来有望应用到场景重建、机器人路径规划、交互式内容创建等多个现实场景中。
相关作者
论文的一作是来自多伦多大学的计算机博士 Towaki Takikawa。他曾在的英伟达的超大规模图形处理研究（Hyperscale Graphics Research）小组工作。
主要研究方向集中在计算机视觉和计算机图形学，对探索机器学习驱动 3D 几何处理算法非常感兴趣。另外在机器人相关项目的软硬件方面也有一定的经验。
另外参与本次研究的还有 Joey Litalien、Kangxue Yin、Karsten Kreis1、Charles Loop、Derek Nowrouzezahrai、Alec Jacobson、Morgan McGuire、Sanja Fidler 等八位学者。
其中 Kangxue Yin 是一位华人学者，他曾在中国科学院深圳先进技术研究院（SIAT）工作 3 年，之后考入西蒙弗雷泽大学（Simon Fraser University）大学并取得了博士学位。