先前,在一場直播活動中,英偉達 CEO 黃仁勳宣布推出 DLSS 3。 DLSS 全名為Deep Learning Super Sampling,它是英偉達發布的深度學習超級採樣技術,其具有開創性的光學多幀生成功能,其為遊戲提供了不可或缺的三要素:提高幀率、最大限度地提升反應速度和改善影像品質。
在一系列遊戲和引擎中,與傳統渲染相比,DLSS 3 有助於將GeForce RTX 40系列的性能翻倍提升:
同時,英偉達副總裁Bryan Catanzaro 也曾在Twitter 上宣稱:「神經渲染在Ada 架構的DLSS 3.0 加持下邁出了非常重要的一步!除了DL 驅動的超分辨率,它還使用光流、運動矢量和DL 來生成整個幀。DLSS 3 渲染的8 個像素中有7 個是來自神經渲染的。」這足以將渲染速度提高5 倍。
儘管這項了不起的技術目前僅限於數十款3D 遊戲,但神經渲染很快就會帶來收益。這項技術將釋放日常消費性電子產品的新潛力。
在多數情況下,DLSS 3 在 4K 解析度下比傳統渲染技術效能提高兩到三倍。雖然英偉達目前處於領先地位,但它也有競爭對手,例如英特爾 AI 驅動的高階軟體 XeSS (Xe Super Sampling),以及 AMD 的 RDNA 3 圖形架構。
遊戲引領了神經渲染的浪潮,因為它們非常適合使用機器學習技術。 Google資深研究員Jon Barron 表示:「只看影像的小patch,試圖猜出影像缺失了什麼,這非常適合機器來學習。機器善於辨識幀之間的相似性,包括那些幀率高到足以掩蓋運動中的微小錯誤。」
不過DLSS 3 也存在不完美的地方,其在場景轉換上有缺陷。但 Barron 和 Catanzaro 認為在神經渲染模型中透過添加訓練資料可以彌補這一缺陷。
Intel圖形研究副總裁 Anton Kaplanyan 認為,未來神經渲染技術會讓 3D 內容創作變得更加觸手可及。不難看出,現在的社群網路已經逐漸商品化了,人們只要點擊一個按鈕,拍一張照片,就可與親朋好友分享。如果我們想把這種體驗提升到 3D,我們就需要吸引那些不懂專業工具的人成為內容創造者。
2023 年,3D 神經渲染的改進速度關乎其未來的發展。但與傳統渲染相比,研究者缺乏更多的經驗。 Barron 指出:「電腦圖形學很神奇,它的工作效果非常好,我們有很多方法來解決問題,而這些方法可能永遠適用。」
接下來的問題是,圖形產業會在何時接受3D 神經渲染作為替代方案。這種過渡可能是令人擔憂的,因為押注錯誤技術或錯誤架構的代價可不小。
儘管如此,Catanzaro 相信 3D 神經渲染已經勢不可擋。他說:「我們將會看到許多更加不同凡響的神經渲染技術。這些技術有的能夠做陰影、折射和反射,將來我們會考慮那些比DLSS 更強的神經渲染方法,我認為未來的圖形領域將會是多種方法並行的。」
#神經渲染的魅力不僅在於它潛在的性能,還在於它潛在的效率。 DLSS 3 透過 RTX 在 Portal 遊戲中提供的 530% 增益可以提高幀速率——或者透過將幀速率限制在一個目標內來降低功耗。如此一來,DLSS 3 可以減少呈現每一幀的成本。
英偉達DLSS 3
這可不容小覷,因為消費電子領域面臨一個重要問題,即摩爾定律大勢已去,就算沒有,也只是苟延殘喘罷了。 Catanzaro 說:「正如你所知道的,摩爾定律已經失去了勢頭,我個人認為後摩爾影像就是神經影像。對英偉達來說,神經渲染已然成為一種代表性的方法,它不需要倍增電晶體數量就可以為公司帶來巨大收益。」
然而,英特爾的Kaplanyan 並不認為摩爾定律會消亡,但他也同意神經渲染可以提高效率。他說:「晶片的大小可以解決,我同意我們有著大好的機會,可以透過機器學習演算法,更有效地利用這種能量和這一領域,產生新的視覺效果。」
##################################### #####AMD、英偉達和英特爾這三家公司都與設備製造商合作,來設計新的消費筆記型電腦和平板電腦,於是效率便成為了三家公司的必爭之地。對於設備製造商來說,效率提升帶來了更薄、更輕、電池續航力更長的設備,同時也提升了使用者使用設備的功能。 ############顯然,2023 年將是消費性裝置中神經渲染的奠基年。支援 DLSS 3 的英偉達 RTX 40 系列將推出多種桌上型電腦和筆記型電腦;英特爾預計將擴展其 Arc 圖形線與即將到來的 Battlemage 架構;AMD 將推出更多使用 RDNA 3 架構的變體產品。 ############這些產品的發佈為圖形革命奠定了基礎。當然,這不是一蹴可幾的,需要花些功夫——但隨著消費者對視覺效果和內容創造的要求越來越高,透過更小、更薄的創新,神經渲染可能是最好的交付方式。 ######
以上是神經渲染與AI生成框架結合,五倍提升遊戲速度,英偉達是這樣做的的詳細內容。更多資訊請關注PHP中文網其他相關文章!