終端過億的NVIDIA RTX AI PC如何賦能新一代AI應(yīng)用

      自從2012年AlexNet在一臺(tái)雙路GTX 580的PC上完成訓(xùn)練、發(fā)布論文并震驚世界以來(lái)，基于以CUDA為代表的GPGPU工具棧的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)不斷發(fā)展，如今已經(jīng)成為包括ChatGPT在內(nèi)的一眾LLM等AI應(yīng)用的基石。而作為AI算力的先驅(qū)者，NVIDIA的GeForce游戲GPU自從GeForce RTX 20系加入用于加速神經(jīng)網(wǎng)絡(luò)的Tensor Core以來(lái)更是在AI加速應(yīng)用的道路上猛踩油門。從最早僅僅是降低實(shí)際渲染分辨率的DLSS深度學(xué)習(xí)超級(jí)采樣技術(shù)，到如今全套的AI PC技術(shù)棧，NVIDIA RTX AI技術(shù)正在將AI推進(jìn)到個(gè)人電腦的方方面面。

      2024年7月11日，NVIDIA在上海召開了GeForce RTX 40系列媒體品鑒會(huì)，分享了NVIDIA RTX AI技術(shù)如何賦能更先進(jìn)的RTX AI PC的諸多細(xì)節(jié)。根據(jù)官方提供的數(shù)據(jù)，目前RTX AI PC裝機(jī)量已突破1億臺(tái)，各大OEM還提供了超過兩百款RTX AI筆記本電腦可供玩家選購(gòu)。同時(shí)，已經(jīng)有超過500款游戲和應(yīng)用已經(jīng)支持了RTX AI加速，同時(shí)還能夠?yàn)橛脩籼峁?00-1300 AI TOPS的強(qiáng)大RTX AI大算力，實(shí)現(xiàn)相當(dāng)可觀的AI性能釋放。

      在會(huì)場(chǎng)上，我們看到了來(lái)自多家不同廠商的筆記本電腦與RTX AI PC，囊括了各種品類，十分豐富。

DLSS：次世代圖形技術(shù)就在指尖

      自從DLSS技術(shù)首次在GeForce RTX 20系 GPU上與玩家見面以來(lái)，這項(xiàng)基于深度學(xué)習(xí)超級(jí)采樣的技術(shù)就廣受玩家好評(píng)，而到了GeForce RTX 40系GPU又推出基于AI加速的DLSS 3幀生成技術(shù)更是進(jìn)一步提高了PC游戲的性能表現(xiàn)。目前，支持NVIDIA DLSS技術(shù)的游戲已經(jīng)突破400款，且數(shù)量還在不斷增加；支持DLSS 3幀生成技術(shù)的游戲也突破了90款。

      在本次GeForce RTX 40系媒體品鑒會(huì)，NVIDIA也分享了幾款支持這些最新圖形技術(shù)的游戲，例如來(lái)自騰訊的《三角洲行動(dòng)》是一款設(shè)定在2035年的第一人稱特戰(zhàn)干員戰(zhàn)術(shù)射擊游戲。支持跨端免費(fèi)游玩。擁有25年歷史的經(jīng)典射擊鼻祖再次回歸，這一次行動(dòng)難度升級(jí)。這款游戲支持光線追蹤反射、NVIDIA DLSS 3幀生成技術(shù)與NVIDIA Reflex低延遲技術(shù)，能夠獲得最佳的電競(jìng)游玩體驗(yàn)。

      從NVIDIA官方提供的截圖中，我們可以看到開啟光線追蹤后游戲的畫面相當(dāng)精美，無(wú)論是步槍上瞄準(zhǔn)鏡目鏡對(duì)身后世界的反射還是面前油罐倒地殘油散落在地面上的反光都栩栩如生?？梢哉f(shuō)，對(duì)于這樣一款復(fù)雜的競(jìng)技游戲來(lái)說(shuō)，光線追蹤技術(shù)顯著增強(qiáng)了游戲的沉浸感。

      除了《三角洲行動(dòng)》之外，本次一并展出的還有《鳴潮》、《解限機(jī)》、《漫威爭(zhēng)鋒》等多款支持DLSS 3技術(shù)的游戲作品。

NVIDIA App：AI濾鏡與統(tǒng)一控制中心

      自從GeForce Experience推出以來(lái)，這套工具與NVIDIA驅(qū)動(dòng)控制面板之間在定位和功能上的沖突讓玩家們左右為難。好在，隨著NVIDIA App的推出，許多困擾玩家的問題自然就迎刃而解了。在NVIDIA App里玩家無(wú)需登入即可更新驅(qū)動(dòng)、優(yōu)化游戲與應(yīng)用性能、通過錄像工具捕捉精彩時(shí)刻之外，本次GeForce RTX 40系媒體品鑒會(huì)還展示了兩個(gè)基于AI的內(nèi)置游戲?yàn)V鏡，RTX 動(dòng)態(tài)亮麗與RTX HDR。前者可以通過AI算法提升畫面的視覺清晰度，讓玩家在每款游戲中都能更好地區(qū)分游戲內(nèi)元素；后者則可以將SDR游戲升格成HDR游戲，只需要使用兼容HDR的顯示器就能夠?qū)崿F(xiàn)艷麗的HDR視覺效果，對(duì)于老游戲愛好者來(lái)說(shuō)能夠帶來(lái)相當(dāng)出色的體驗(yàn)。

ChatRTX：用戶自己的本地LLM工具

      現(xiàn)在各種大語(yǔ)言模型工具已經(jīng)不是新鮮事了，但ChatRTX的特色在于它能夠?qū)⒂行Ю媚汶娔X上的個(gè)人資料當(dāng)作數(shù)據(jù)集，從你的資料中進(jìn)行搜索并回答問題。它基于NVIDIA TensorRT-LLM技術(shù)，將生成式 AI 功能引入 RTX AI PC。用戶可快速輕松地將個(gè)人電腦上的資料當(dāng)成數(shù)據(jù)集，連接到ChatGLM這一類開源大語(yǔ)言模型，以便快速查詢、生成個(gè)性化的內(nèi)容。此外，ChatRTX的所有大語(yǔ)言模型都在本地運(yùn)行，完全不上網(wǎng)，這意味著像我們這樣經(jīng)常會(huì)處理需要簽署保密協(xié)議的資料的用戶也可以放心地查詢自己的資料，讓ChatRTX快速提供安全的回復(fù)，能夠帶來(lái)極大的效率提升。

NVIDIA ACE：NPC真的在跟你交互

      無(wú)論是像《輻射》、《殺出重圍》、《賽博朋克2077》這樣的開放世界游戲還是像《使命召喚》、《榮譽(yù)勛章》這樣的線性游戲，也無(wú)論是像普萊斯隊(duì)長(zhǎng)、杰克這樣的重要?jiǎng)∏槿宋镞€是你在路上看到的NPC或小兵，傳統(tǒng)游戲開發(fā)范式都要求開發(fā)者針對(duì)每個(gè)角色編寫對(duì)應(yīng)的臺(tái)本、錄音并進(jìn)行動(dòng)畫優(yōu)化，這極大地拖慢了開發(fā)者的開發(fā)效率，但又是為了創(chuàng)造一個(gè)高度真實(shí)可信、具有沉浸感的世界所必不可少的。盡管如此，這樣手動(dòng)編寫所有對(duì)話的方式也必然不可能創(chuàng)建出真正具有靈魂的NPC，無(wú)論是玩家角色的發(fā)問還是NPC的回答都完全可預(yù)期，如果在UI設(shè)計(jì)或配音/動(dòng)畫方面再固步自封一點(diǎn)，自然就會(huì)指向如《輻射4》這樣的社區(qū)笑柄。因此，隨著AI技術(shù)的發(fā)展，NVIDIA ACE這樣利用生成式 AI 讓數(shù)字人、NPC 和交互式虛擬形象栩栩如生的技術(shù)自然就應(yīng)運(yùn)而生。

      本次GeForce RTX 40系媒體品鑒會(huì)中展示的Covert Protocol 是由 Inworld AI 與 NVIDIA 合作創(chuàng)建的一項(xiàng)技術(shù)演示，它突破了 NPC 交互的界限。該技術(shù)演示使用 Inworld 的 AI 引擎，該引擎集成了 Riva 自動(dòng)語(yǔ)音識(shí)別功能，可實(shí)現(xiàn)準(zhǔn)確的語(yǔ)音轉(zhuǎn)文本，并集成了 NVIDIA Audio2Face 以提供逼真的面部動(dòng)畫。玩家需要扮演一個(gè)私家偵探，與三個(gè)具有不同個(gè)性、動(dòng)機(jī)與背景的NPC互動(dòng)，并從他們手中獲取目標(biāo)的房間號(hào)以推進(jìn)劇情。NVIDIA ACE和Inworld AI引擎能夠使玩家與NPC進(jìn)行完全動(dòng)態(tài)的交互，整個(gè)故事的敘事完全由玩家選擇驅(qū)動(dòng)，并能夠被可交互的環(huán)境對(duì)象影響。開發(fā)者只需要針對(duì)NPC的人設(shè)進(jìn)行定制，剩下的工作就能全部交給AI，并且完全在玩家的PC上本地運(yùn)行。目前，NVIDIA ACE技術(shù)已經(jīng)有來(lái)自米哈游、網(wǎng)易游戲、完美世界游戲、騰訊和育碧等國(guó)內(nèi)外游戲開發(fā)商采用，令人無(wú)比期待未來(lái)的開放世界/沉浸式模擬游戲能夠帶來(lái)怎樣的沉浸感。

G-Assist項(xiàng)目：真的能幫你干活的實(shí)時(shí)AI助手

      在2017年的愚人節(jié)，NVIDIA官宣了一項(xiàng)叫做GTX G-Assist的AI助手，這個(gè)U盤形態(tài)的小東西能夠通過AI算法在《彩虹六號(hào)：圍攻》等電競(jìng)游戲里模擬玩家操作讓玩家能去應(yīng)快遞、在《黑暗之魂3》中通過參考玩家操作精準(zhǔn)拿下BOSS，或幫助玩家在關(guān)鍵時(shí)刻點(diǎn)外賣以確保游戲打完剛好外賣送到。當(dāng)然，這只是一個(gè)愚人節(jié)段子，但隨著G-Assist項(xiàng)目的正式發(fā)布，似乎我們離這個(gè)段子越來(lái)越近了。這項(xiàng)技術(shù)Demo能夠通過AI助手實(shí)時(shí)增強(qiáng)游戲與應(yīng)用的使用體驗(yàn)，基于對(duì)游戲環(huán)境的感知，根據(jù)玩家的游戲進(jìn)程提供針對(duì)性的回復(fù)。同時(shí)，玩家也可以使用G-Assist項(xiàng)目去了解機(jī)器現(xiàn)在的運(yùn)行狀態(tài)，幫助玩家去優(yōu)化設(shè)置。盡管目前這項(xiàng)技術(shù)還僅僅處于Demo階段，但NVIDIA已經(jīng)在著手為開發(fā)者提供在游戲與應(yīng)用中部署這些AI助手的工具包和框架，相信在不遠(yuǎn)的將來(lái)我們就能夠看到它在實(shí)際應(yīng)用中的表現(xiàn)了。

      目前，NVIDIA官方視頻給出的演示基于《方舟：生存飛升》游戲。這款基于虛幻5引擎打造的游戲是《方舟：生存進(jìn)化》的續(xù)作，玩家需要在滿是恐龍的世界里設(shè)法生存下去。開放世界+低指引的特性讓玩家在剛進(jìn)入游戲時(shí)難免一頭霧水，此時(shí)G-Assist項(xiàng)目就能幫上大忙。例如，玩家可以向G-Assist項(xiàng)目詢問是否應(yīng)躲避屏幕上出現(xiàn)的恐龍，或采用不同的方法來(lái)控制特定的猛獸、根據(jù)玩家現(xiàn)在的狀態(tài)建議下一步的操作，或指向更多的相關(guān)資料。

      另外一個(gè)基于《賽博朋克2077》游戲的Demo展示了G-Assist項(xiàng)目如何幫助玩家實(shí)現(xiàn)性能調(diào)優(yōu)。在這款圖形技術(shù)高度先進(jìn)且性能要求較高的游戲中，G-Assist項(xiàng)目可以幫助玩家跟蹤幀率、用電量、PC 延遲和其他硬件統(tǒng)計(jì)數(shù)據(jù)，并繪制相應(yīng)圖表。當(dāng)玩家輸入相關(guān)提示時(shí)，它還能就如何改善這些指標(biāo)提出建議。

      除了簡(jiǎn)單的建議之外，G-Assist項(xiàng)目還能夠幫用戶智能地尋找提高能效比的方式，例如在保持目標(biāo)幀率的同時(shí)動(dòng)態(tài)降低 GPU 的電壓。例如，在這個(gè)演示中，G-Assist項(xiàng)目將GPU的電壓從1075mV降低到875mV，整體功耗從272W降低到173W，提升幅度就很顯著。當(dāng)然，在具體使用中的幅度仍然需要視GPU本身芯片體質(zhì)、游戲負(fù)載等因素考量。

      除此之外，G-Assist項(xiàng)目還能夠幫助玩家進(jìn)一步優(yōu)化系統(tǒng)配置，例如掃描用戶系統(tǒng)，查看是否有任何異常情況，比如沒有充分利用顯示器的分辨率、刷新率或其他功能，包括 HDR 和 G-SYNC。當(dāng)然，作為一個(gè)AI助手，G-Assist項(xiàng)目也能夠回答玩家的各種問題，說(shuō)明各項(xiàng)設(shè)置的用途及其對(duì)性能的預(yù)期影響。例如，它可以解釋 DLAA 與 DLSS 的區(qū)別，或者解釋 NVIDIA 控制面板中的“超低延遲模式”與 NVIDIA Reflex 游戲內(nèi)選項(xiàng)之間的差異。

RTX Video：實(shí)時(shí)AI視頻增強(qiáng)，觀影體驗(yàn)更上一層樓

      除了G-Assist項(xiàng)目之外，RTX Video技術(shù)也在本次的GeForce RTX 40系媒體品鑒會(huì)中占據(jù)相當(dāng)大的篇幅。除了我們之前已經(jīng)介紹過的RTX視頻超分辨率（RTX VSR）技術(shù)之外，RTX Video這套完整的AI視頻增強(qiáng)技術(shù)棧還包含了RTX Video HDR這項(xiàng)自動(dòng)HDR技術(shù)，能夠?qū)DR規(guī)格的視頻內(nèi)容通過AI計(jì)算轉(zhuǎn)換成HDR10標(biāo)準(zhǔn)的高動(dòng)態(tài)范圍視頻，能夠顯著增強(qiáng)視覺效果，讓畫面更加鮮艷生動(dòng)。目前，除了在Google Chrome、Microsoft Edge、Mozilia Firefox三款主流瀏覽器與VideoLAN VLC視頻播放器中體驗(yàn)由RTX Video帶來(lái)的4K HDR視覺體驗(yàn)，還能夠在萬(wàn)興喵影與DaVinci Resolve兩款熱門視頻創(chuàng)作工具中使用RTX Video將SDR視頻項(xiàng)目直接轉(zhuǎn)換成HDR視頻進(jìn)行剪輯，方便用戶創(chuàng)作更精美的視頻項(xiàng)目。

NVIDIA Studio：全AI創(chuàng)意工作流

      本次GeForce RTX 40系媒體品鑒會(huì)中，NVIDIA還請(qǐng)來(lái)了著名的特效UP主特效小哥008帶來(lái)一部由生成式AI 輔助制作的特效短片《特效小哥大戰(zhàn)系列之大戰(zhàn)河野華》。從使用ComfyUI這個(gè)全球第二大、同時(shí)也是增長(zhǎng)最快的，基于Stable Diffusion的AI應(yīng)用制作的高質(zhì)量貼圖到TripoSR實(shí)現(xiàn)的3D模型，生成式AI顯著提升了整個(gè)特效短片的前期資產(chǎn)制作效率。而在渲染中，使用RTX GPU利用NVIDIA OptiX加速的Blender Cycles渲染器能夠在在AI計(jì)算下少量采樣的前提下，為建模和動(dòng)畫提供實(shí)時(shí)的交互式、照片級(jí)寫實(shí)的降噪畫面效果，可以說(shuō)是目前Blender平臺(tái)最佳的渲染后端了。除了上述的這些應(yīng)用之外，NVIDIA Studio加速生態(tài)還超過120款創(chuàng)意軟件，讓創(chuàng)作者如虎添翼，像特效小哥一樣輕松應(yīng)對(duì)AI創(chuàng)意挑戰(zhàn)。

      除了特效視頻之外，本次品鑒會(huì)還有另一個(gè)應(yīng)用了AI加速的展示：超人（SuperHero）Demo。它同樣使用ComfyUI進(jìn)行。通過NVIDIA RTX GPU上的CUDA生態(tài)與TensorRT加速，配合InstantID、IPAdapter和ControlNet等一系列細(xì)節(jié)控制技術(shù)，這套工作流能夠從攝像頭捕捉用戶形象，并根據(jù)參考圖像和提示詞實(shí)時(shí)生成高清超級(jí)英雄形象。對(duì)于創(chuàng)意工作者，尤其是角色設(shè)計(jì)、服裝設(shè)計(jì)等領(lǐng)域的工作者來(lái)說(shuō)來(lái)說(shuō)，只需修改幾個(gè)參數(shù)就能夠生成多樣化的參考設(shè)計(jì)，帶來(lái)無(wú)限可能。

總結(jié)

      從這次GeForce RTX 40系媒體品鑒會(huì)展示的諸多AI加速項(xiàng)目演示來(lái)看，基于NVIDIA RTX GPU的AI PC應(yīng)用生態(tài)體系已經(jīng)相當(dāng)完備。無(wú)論是游戲玩家使用DLSS增強(qiáng)游戲畫面表現(xiàn)與性能表現(xiàn)，還是影視觀眾與創(chuàng)作者使用RTV Video實(shí)現(xiàn)觀影與創(chuàng)作體驗(yàn)的實(shí)時(shí)進(jìn)化；無(wú)論是用于在浩如煙海的個(gè)人資料庫(kù)中快速找到對(duì)應(yīng)的信息的ChatRTX還是即將上線的G-Assist項(xiàng)目；無(wú)論是能方便用戶更新驅(qū)動(dòng)、性能調(diào)優(yōu)的NVIDIA App還是全套基于AI實(shí)現(xiàn)的NVIDIA Studio創(chuàng)意工作流，NVIDIA在加速計(jì)算上十年如一日的投入帶來(lái)的這套堪稱全場(chǎng)景覆蓋的AI PC應(yīng)用生態(tài)體系，搭配完善的文檔與開發(fā)者支持體系可以說(shuō)在行業(yè)內(nèi)無(wú)人能敵。同時(shí)，一億臺(tái)的RTX AI PC裝機(jī)量搭配超過兩百款市售RTX AI筆記本電腦與更多合作伙伴推出的RTX AI PC產(chǎn)品讓RTX AI PC體系也在不斷吸引更多的用戶與開發(fā)者進(jìn)入。盡管AGI目前仍然是科幻作家與研究者心目中的圣杯，但對(duì)于想在今天就把AI技術(shù)引入工作生活的人們來(lái)說(shuō)，NVIDIA RTX AI PC平臺(tái)仍然是最好的選擇，甚至?xí)嵏材銓?duì)傳統(tǒng)PC的老舊認(rèn)知。