流媒體革命！NVIDIA RTX VSR視頻超分辨率技術(shù)初體驗(yàn)

　　自從GeForce 8800系列第一次引入CUDA以及它所代表的GPU計(jì)算以來(lái)，AI逐漸從科幻小說(shuō)的幻想中走向現(xiàn)實(shí)世界。無(wú)論是在棋盤(pán)上干碎柯潔的圍棋AI AlphaGo還是這幾天不斷占據(jù)互聯(lián)網(wǎng)熱榜的ChatGPT，背后都是各種AI算法作為支撐。

　　而對(duì)于游戲玩家來(lái)說(shuō)，AI進(jìn)步帶來(lái)的最大變化可能就是NVIDIA隨著RTX 20系Turing架構(gòu)GPU引入的DLSS技術(shù)。通過(guò)使用預(yù)訓(xùn)練的AI，DLSS允許用戶渲染一個(gè)較低分辨率的畫(huà)面并將它上采樣到設(shè)定的輸出分辨率，通過(guò)降低顯卡硬性負(fù)載的方式來(lái)提升游戲幀數(shù)。而隨著時(shí)代的發(fā)展，DLSS技術(shù)的效果表現(xiàn)也不斷得到打磨，甚至隨著RTX 40系A(chǔ)da架構(gòu)GPU的發(fā)布我們還得到了能夠進(jìn)一步無(wú)中生有提升幀數(shù)表現(xiàn)的DLSS幀生成功能，無(wú)論是性能表現(xiàn)還是畫(huà)面表現(xiàn)都得到了顯著提高。

　　DLSS的目的是提升幀數(shù)+畫(huà)質(zhì)，但如果我們反其道而行之呢？不去提升幀率，而是通過(guò)AI將視頻本身進(jìn)行超采樣呢？這就要提到我們這期視頻的主角-RTX視頻超分辨率（下文簡(jiǎn)稱(chēng)RTX VSR技術(shù)）了。

　　“RTX 視頻超分辨率 (RTX Video Super Resolution) ”是AI圖像處理放大技術(shù)，允許GeForce用戶在1440p或4K以AI增強(qiáng)的清晰度觀看更高分辨率的視頻。GeForce RTX 30和40系列GPU將處理Chrome或Edge瀏覽器上的低分辨率視頻，以提升視頻質(zhì)量。

原理

　　RTX VSR技術(shù)最大的應(yīng)用場(chǎng)景是流媒體領(lǐng)域，也就是我們平時(shí)在各種網(wǎng)絡(luò)平臺(tái)觀看的直播與視頻。無(wú)論是視頻上傳時(shí)的標(biāo)準(zhǔn)化的轉(zhuǎn)碼還是對(duì)所有視頻統(tǒng)一進(jìn)行存儲(chǔ)、管理直到最后分發(fā)到用戶的設(shè)備上，這全套流程的成本都十分昂貴，因此幾乎所有流媒體平臺(tái)都選擇了壓縮碼率的方式來(lái)節(jié)約算力、帶寬與成本。這個(gè)過(guò)程中由于視頻碼率降低，最終的視頻上可能會(huì)呈現(xiàn)一些肉眼可見(jiàn)的偽影、殘像或噪點(diǎn)，這就是信息丟失。盡管這些信息丟失大概率并不影響觀眾去完整理解視頻，但它們?nèi)匀皇鞘钟绊懹^看體驗(yàn)的。

　　除了有損壓縮外，另外一個(gè)問(wèn)題是低分辨率，這一點(diǎn)尤其在直播中最為明顯。在線直播不僅需要將主播電腦發(fā)出的視頻流實(shí)時(shí)復(fù)制到多個(gè)觀眾的設(shè)備中，還需要讓所有參與者都能看到其他觀眾發(fā)出的彈幕與禮物，因此對(duì)直播平臺(tái)也提出了更高的要求。為了為更多用戶提供服務(wù)，直播平臺(tái)一般只會(huì)提供相對(duì)較低分辨率的視頻流，例如1080P甚至更低，這在高分辨率顯示器上的觀看體驗(yàn)顯然是不佳的。

　　對(duì)于這兩項(xiàng)常見(jiàn)的問(wèn)題，RTX VSR技術(shù)都可以通過(guò)GeForce 30系或40系顯卡中的RTX Tensor Cores與AI算法來(lái)嘗試修復(fù)這些信息，并為用戶提供更高分辨率且高清的畫(huà)面。通過(guò)將NVIDIA Tensor Core與最先進(jìn)的AI圖像處理技術(shù)相結(jié)合，智能銳化和強(qiáng)化特征和邊緣，同時(shí)消除惱人的壓縮偽影。RTX VSR將適用于大多數(shù)在瀏覽器中播放的視頻，無(wú)論是通過(guò)斗魚(yú)，虎牙，嗶哩嗶哩等平臺(tái)觀看您喜愛(ài)的主播的直播，還是觀看他們其它的視頻內(nèi)容。

　　只需要使用RTX 30系或RTX 40系GPU安裝Game Ready驅(qū)動(dòng) 531.14或以上版本，并在NVIDIA控制面板中調(diào)整視頻圖像設(shè)置功能里啟用RTX VSR技術(shù)，就可以在Google Chrome（110.0.5481.105以上）或Microsoft Edge（110.0.1587.56以上）中體驗(yàn)AI加持下的高清畫(huà)面。不過(guò)，由于需要使用顯卡中的Tensor Cores，RTX VSR技術(shù)會(huì)增大看視頻時(shí)的GPU占用。針對(duì)不同性能的顯卡，NVIDIA控制面板里提供了四種不同的預(yù)設(shè)，第4檔性能要求最高，但畫(huà)面效果也最好；第1檔性能要求最低，但畫(huà)面提升也沒(méi)有那么顯著，用戶可以綜合自己的需求選擇。

　　驅(qū)動(dòng)下載地址：https://www.nvidia.cn/geforce/drivers/