如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)

编辑:David 桃子

【新智元导读】虚幻引擎5中,多亏有了全局光照系统Lumen才能让更多人人沉浸在虚拟世界中。对于它的研发过程,创立者Krzysztof Narkowicz对其进行了解读。

实时全局光照(Real-time GI)一直是计算机图形学的圣杯。

多年来,业界也提出多种方法来解决这个问题。

常用的方法包通过利用某些假设来约束问题域,比如静态几何,粗糙的场景表示或者追踪粗糙探针,以及在两者之间插值照明。

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(1)

在虚幻引擎中,全局光照和反射系统Lumen这一技术便是由Krzysztof Narkowicz和Daniel Wright一起创立的。

目标是构建一个与前人不同的方案,能够实现统一照明,以及类似烘烤一样的照明质量。

近期,在SIGGRAPH 2022上,Krzysztof Narkowicz和团队讲述了他们构建Lumen技术之旅。

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(2)

软件光线追踪——高度场

当前的硬件光线追踪缺少强大的GPU算力支持。我们不知道硬件光线追踪速度有多快,甚至不知道新一代控制台是否支持它。

因此,软件光线追踪方法运用而出。事实证明,它确实是一个非常好用的工具,可以用于缩放或支持有大量重叠实例的场景。

软件光线追踪提供了一种可能性,那便是可以使用各种各样的追踪结构,比如三角形、距离场(distance fields)、面元(surfels),或者高度场(heightfields)。

在此,Krzysztof Narkowicz放弃了研究三角形,简要研究了面元,但是对于那些需要相当高密度才能表示的几何图形,对其进行更新或追踪面元是相当昂贵的。

经过初步探索,高度场是最合适的,因其能够很好地映射到硬件中,并提供表面表示和简单的连续 LOD。

因为我们可以使用所有的POM算法,比如最小-最大四叉树,因此它的追踪速度是非常快的。

此外,多个高度场可以表示复杂几何,类似于栅格化边界卷层次结构。

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(3)

若将其视为面元的加速结构也非常有趣,一个单独的texel就是一个受限于常规网格的面元。

除了高度场,Lumen还有其他属性,如反照率或照明,这样就能够计算出每次的照明。

在Lumen中,开发者将这张带有表面数据的完整贴花式投影命名为卡(Cards),即捕获位置。

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(4)

栅格化的三角形

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(5)

Raymarched cards光线步进卡(高度场)

对于场景中的每一张卡来说,进行光线步进太慢。因此需要一种卡的加速结构,开发者选择了一个4节点的BVH。它是为一个完整的场景构建的,每一帧都在 CPU 上,并上传到 GPU。

然后在追踪着色器中,我们将进行基于堆栈的遍历,并对节点进行动态排序,以便首先遍历最接近的节点。

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(6)

BVH 调试视图

捕获位置

这里最棘手的部分是如何放置高度场,以便捕捉整个网格。

Krzysztof Narkowicz称,「其中一个想法是基于GPU的全局距离场。每一帧我们都会追踪一小组主射线来寻找没有被卡覆盖的射线。

接下来,对于每一个未发现的射线,我们将使用表面梯度遍历全局距离场,以确定一个最佳的卡方向和范围,从而产生一个新的卡。

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(7)

全局距离场的捕获位置

一方面,它被证实可以为整个合并场景生成卡,而不必为每个网格去生成卡。另一方面,事实证明它在实践中相当挑剔,因为每次相机移动时都会产生不同的结果。

另一个想法就是把每个网格的卡作为一个网格导入步骤。通过构建几何学的 BVH 来做到这一点,其中每个节点将被转换为 N 张卡。

如下:

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(8)

栅格化的三角形

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(9)

光线步进卡(高场)

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(10)

卡位置视图

这一方法在在寻找一个好的位置时遇到了问题,因为BVH节点并不是放置卡的好代理。

那么,研究人员又提出了另一个想法:遵循紫外线展开技术,并尝试聚类表面元素。

因为要处理数百万个由Nanite提供的多边形,因此他们将三角形换成面元。

同时,他们还切换到了一个较少的约束自由导向卡,以尝试与表面匹配更好。

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(11)

自由导向的卡位置

通过尝试,这个方法对于简单的形状非常有效,但是在在收敛到更复杂的形状上就出现了问题。

最后,Narkowicz又切换回轴对齐的卡片,但是这次是由面元集群和每个网格生成的。

锥形追踪

追踪高度场的独特性质还可以实现锥形追踪。

锥形追踪对于降低噪声非常有效,因为一个预先过滤的单个锥体跟踪代表了数千条单独的射线。

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(12)

光线追踪

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(13)

锥形追踪

对于每个卡,开发者还存储了一个完整的预过滤 mip-map链表面高度、照明和材料属性。

在追踪时,根据圆锥足迹选择合适的步进光线,并对其进行射线追踪。

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(14)

无卡边和带卡边的跟踪

合并场景表示

在软件中追踪大量的非相干射线是非常慢的。理想情况下,可以使用单一的全局结构,而非多个高度场。

当锥形足迹越来越大时,实际上并不需要精确的场景表示,可以用更近似的表示替代,以获得更快的速度。

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(15)

一个更复杂的场景,有几十张卡片来追踪每个光线

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(16)

第一个成功的方法是实现纯体素圆锥跟踪,整个场景在运行时是体素化的,就像经典的「Interactive Indirect Illumination Using Voxel Cone Tracing」一文中的那样实现。

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(17)

栅格化的三角形

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(18)

光线步进卡 (高度场)

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(19)

体素圆锥追踪

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(20)

光线步进卡继续与体素锥跟踪

而这种方法的主要缺点是,由于场景几何体的过度融合而导致泄漏,这种现象在跟踪粗低映射时尤其明显。

第一种降低图像泄漏的技术是,对全局距离场进行跟踪,只在靠近表面的地方进行体素采样。在采样过程中,随着采样范围扩大积累不透明度,停止追踪时,不透明度将达到1。这样总是在几何体附近进行精确采样,实现降低图形泄露的目的。

第二种技术是对网状内部进行体素化。这大大减少了在较厚的壁处的泄露,不过这样也会造成一些过度遮挡。

其他的实验包括跟踪稀疏体素位块和每面透明通道的体素。这两个实验的目的都是为了解决射线方向体素插值问题,即对于不垂直于壁面的射线,轴对齐的实心壁将变得透明。

体素位砖是将每个体素存储一个位在一个8x8x8的砖块中,以指示给定的体素是否为空。然后使用两级 DDA 算法进行光线步进。具有透明面的体素相似,但 DDA相同,并且沿着光线方向透明度不断上升。结果表明,这两种方法在表示几何体方面的效果都不如距离域,而且速度相当慢。

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(21)

带有透明度的体素

最早的跟踪合并表示的方法是,对全局距离字段和使用全局每个场景卡的着色命中进行锥形跟踪。即遍历一个 BVH,找出场景中的哪些卡影响采样点,然后根据锥形足迹对每张卡的适度滑步水平进行采样。

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(22)

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(23)

本文放弃了这种方法,因为当初没有考虑只用它来表示远场轨迹,而是把它看作是高场光线步进的直接替代。有点讽刺的是,这种被抛弃的方法与我们两年后最终达成的解决方案最为接近。

第一个演示

到这里,已经可以产生一些相当不错的结果了:

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(24)

尽管如此,还是遇到了很多图形泄漏的问题,而且在这个简单的场景中,即使在一个高端 PC GPU 上,性能也不是很理想。

为了解决泄漏问题,以处理更多的实例、在PS5上以8毫秒以下时间完成处理。这个demo堪称是真正的催化剂。

与以往的方案相比,第一个变化也是最大的变化是,用距离场跟踪取代高度场跟踪。

为了遮蔽生命点,从卡片上插入生命点的光线,因为距离场没有顶点属性,这样,未覆盖的区域只会导致能源损失,而不是泄漏。

出于同样的考虑,将体素锥形追踪改为全局距离场射线追踪。

与此同时,我们还做了很多不同的优化,并通过缓存方案对Lumen的不同部分进行了时间分流。值得注意的是,如果没有锥体追踪,我们必须更积极地去噪和缓存追踪,但这又是一个漫长而复杂的故事。

这是我们发送第一个演示后的最终结果,在PS5上一直低于8ms,包括所有共享数据结构的更新,如全局距离字段。目前的性能表现甚至更好了,比如最新demo的完成时间接近4毫秒,质量上也有明显的改进。

如何用虚幻引擎实时渲染(虚幻引擎技术大牛解读全局光照系统Lumen)(25)

尾声

总之,本文对整个Lumen进行了全面重写,还有许多不同的想法没有实施。另一方面,有些东西被重新利用。就像最初我们用卡片作为追踪表示,但现在用来作为缓存网格表面的各种计算方式。和软件追踪类似,开始是我们主要的追踪方法,主要是圆锥体追踪,但最后成为一种缩小规模和支持具有大量重叠实例的、复杂重度场景的方法。

参考资料:

https://knarkowicz.wordpress.com/2022/08/18/journey-to-lumen/

https://advances.realtimerendering.com/s2022/index.html#Lumen

https://www.youtube.com/channel/UC9V4KS8ggGQe_Hfeg1OQrWw

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。