NVIDIA DLSS 3.5原理淺析 大家好像都搞錯了

在剛剛開幕的德國科隆游戲展2023（Gamescom 2023）上公布了眾多游戲宣傳片，還有實機畫面。不過我們今天說說NVIDIA同步更新的DLSS 這項技術。

(資料圖片)

RTX20系可開啟DLSS ？

由于大部分的宣傳中都提到，DLSS 不僅支持RTX 40系顯卡，所有RTX顯卡都可以開啟。所以玩家自動認為RTX 20系也可以開啟它的上一個版本“DLSS ”了，并不是。

本次DLSS 并不是DLSS 的直接版本迭代升級，而是在DLSS 的基礎上增加了RR（Ray Reconstruction）功能。

簡單來說，RTX 4060可以享受到目前技術中的【SR+FG+RR】；RTX 2060可以享受到【SR+RR】，但因為加入了RR的DLSS統(tǒng)稱為版本，所以才有以上的誤會。

光線追蹤是如何工作的

誤會解除，下面來看看DLSS 的RR到底是什么。

首先在游戲場景中，不管是汽車、房子、樹木之類的物體，都是具有實體的幾何圖形和材質，DLSS可以通過超分辨率根據(jù)模型來重建物體。

但目前的游戲中，光影效果正在扮演越來越重要的角色。而游戲場景中的所有物體，在光線照射到自身時，都可以根據(jù)材質有不同反應，比如鏡子有直接的反射，粗糙的表面會有漫反射等等。

但光本身不具備實體，如果對屏幕上的每個像素發(fā)射光線對計算的要求過高，所以通常的做法是使用光線采樣。將光線以噪點的圖像輸出，來確定光追場景的具體展現(xiàn)方式。

最終反映到畫面中，降噪器有兩種不同的處理方法還原光追畫面。

1.多幀累計：當前幀和上一幀之中，保留好的像素，丟掉壞的像素，最終合成計算出光線效果

2.空間插值：查找當前幀中的相鄰像素并混合，最終形成一張通過插值采樣得來的效果

而不同類型的光追效果其實要用到多種降噪器處理，才能算出相對滿意的畫面，不但增加了開發(fā)成本和復雜程度，而且多個降噪器同時工作，也極大降低了光追游戲中的幀數(shù)。

另外降噪器采用的多幀累計雖然增加了細節(jié)，但實際上是借取過去的光線，仍存在引入鬼影、消除動態(tài)效果并降低其他效果的風險。

圖像放大是光線追蹤照明管線的最后一個階段，也是以高幀率體驗、細節(jié)豐富的關鍵。但隨著降噪消除或降低效果質量，圖像放大器所使用的精細細節(jié)（稱為高頻信息）被去除，這就造成了我們在游戲時會看到很多鬼影、模糊、細節(jié)丟失的問題。

DLSS 的“RR”是什么

DLSS 引入的Ray Reconstruction（光線重建）則是專為“光線”開發(fā)的一套AI模型，它將需要人工設計的降噪器，替換為NVIDIA超算訓練的AI網(wǎng)絡（在采樣光線之間生成更高質量的像素），利用所有可用信息來解決上述問題，并為所有RTX GPU提升光線追蹤圖像質量。

DLSS 訓練的數(shù)據(jù)量是DLSS 3的5倍，可識別不同的光線追蹤效果，從而使用時間和空間數(shù)據(jù)，做出更明智的決策，并保留高頻信息以實現(xiàn)更高質量的升級。

光線重建使用離線渲染圖像進行訓練，這需要比實時游戲所需的更多的計算能力。相比傳統(tǒng)的降噪器，光線重建可以從訓練數(shù)據(jù)中識別光照模式，例如全局光照或環(huán)境光遮蔽的光照模式，并在玩游戲時在游戲中重新創(chuàng)建這些模式。其最終效果比需要人工設計的降噪器更出色。

在《傳送門》RTX版中，關閉DLSS的情況下，降噪器難以處理空間插值，無法混合足夠的像素，從而產生斑點效果。

此外，降噪器無法從之前的幀中累積足夠的優(yōu)質像素，導致光線上出現(xiàn)沸騰效果。開啟DLSS 后，它可以識別與反射相關的特定模式，并保持圖像穩(wěn)定，同時混合相鄰像素以生成高質量的反射。

在《賽博朋克2077》的以下場景中，汽車周圍不準確的車頭燈照明是由于人工設計的降噪器引入了前一幀中不準確的光照效果造成的。DLSS 準確地生成光照，因此可以識別出車燈的光束，并看到光線在車前路邊反射。

《賽博朋克 2077》中的夜之城街道充滿了旋轉廣告牌和霓虹燈的反射。通過開啟 DLSS ，整個城市的畫面質量和清晰度得到了大幅提升：

可以看到在開啟DLSS 后，不僅幀數(shù)再一次小幅提高，并且能正確模擬出光線的傳導，并進一步影響周圍材質的顏色變化。

總結

最后總結一下，其實DLSS 增加了一個專門針對光線追蹤而開發(fā)的——光線重建AI模型，它并不依靠RTX 40系顯卡中的硬件單元，所以在所有RTX顯卡中均可開啟。

而DLSS 的幀生成，則是依賴第四代Tensor Cores中最新引入的光流加速器（New Optical Flow Accelerator），光流加速器在原本DLSS 2的基礎上，還可以計算兩個連續(xù)幀內的光流場，能夠捕捉游戲畫面從第1幀到第2幀的方向和速度，從中捕捉粒子、反射和光照等像素信息。并分別計算運動矢量和光流來獲得精準的陰影重建效果。

所以，這也是為何DLSS 3中的幀生成為RTX 40系顯卡獨享。

雖然RTX 20/30系顯卡同樣能夠開啟DLSS 中的RR，但它的作用更多是“錦上添花”的效果，幀數(shù)提升有限。況且，即便RTX 4060相比RTX 3060的提升只有20%左右，但別忘了RTX 40系顯卡尤其加強的Tensor算力和L2緩存，在處理光追和DLSS時，都有著得天獨厚的優(yōu)勢。

我們常說NVIDIA近幾年發(fā)力點一直在AI計算上，游戲卡似乎有些忽略。

但在RTX 40系顯卡中加強的AI性能，其實大部分用戶感知不大，而DLSS則相當于一個針對AI，長期優(yōu)化的專屬軟件。我認為無論是對于游戲玩家還是內容創(chuàng)作者，都是值得投資的。

標簽：