最先進(jìn)企業(yè)級(jí)AI設(shè)施！英偉達(dá)推出第4代DGX系統(tǒng)DGX H100

　　在今天的GTC 2022大會(huì)上，英偉達(dá)創(chuàng)始人兼CEO黃仁勛公布了NVIDIA新一代架構(gòu)與核心，它就是面向HPC高性能計(jì)算、AI人工智能的“Hopper”，對(duì)應(yīng)核心編號(hào)“GH100”。

　　GH100核心采用的其實(shí)是臺(tái)積電目前最先進(jìn)的4nm工藝，而且是定制版，CoWoS 2.5D晶圓級(jí)封裝，單芯片設(shè)計(jì)，集成多達(dá)800億個(gè)晶體管，號(hào)稱世界上最先進(jìn)的芯片。完整版有8組GPC(圖形處理器集群)、72組TPC(紋理處理器集群)、144組SM(流式多處理器單元)，而每組SM有128個(gè)FP32 CUDA核心，總計(jì)18432個(gè)。Tensor張量核心來(lái)到第四代，共有576個(gè)，另有60MB二級(jí)緩存。

　　性能方面，F(xiàn)P64/FP32 60TFlops(每秒60萬(wàn)億次)，F(xiàn)P16 2000TFlops(每秒2000萬(wàn)億次)，TF32 1000TFlops(每秒1000萬(wàn)億次)，都三倍于A100，F(xiàn)P8 4000TFlops(每秒4000萬(wàn)億次)，六倍于A100。

　　此外，英偉達(dá)還推出了第四代英偉達(dá)DGX系統(tǒng)DGX H100，DGX H100是一款基于英偉達(dá)H100 Tensor Core GPU的AI平臺(tái)。 是最先進(jìn)的企業(yè)級(jí)AI基礎(chǔ)設(shè)施。一起來(lái)了解下吧！

　　DGX H100系統(tǒng)中每塊GPU都通過(guò)第四代 NVLink連接，可提供900GB/s的帶寬，是上一代系統(tǒng)的1.5倍。DGX H100的顯存帶寬可達(dá)24TB/s。 

　　每個(gè)DGX H100系統(tǒng)配備8塊H100 GPU，總計(jì)有6400億個(gè)晶體管，由NVLink連接，在全新的FP8精度下AI性能可達(dá)32Petaflops，比上一代系統(tǒng)性能高6倍。 

　　該系統(tǒng)支持雙x86 CPU，每個(gè)系統(tǒng)還包含2個(gè)英偉達(dá)BlueField-3 DPU，用于卸載、加速和隔離高級(jí)網(wǎng)絡(luò)、存儲(chǔ)及安全服務(wù)。 

　　8個(gè)英偉達(dá)ConnectX-7 Quantum-2 InfiniBand網(wǎng)卡能夠提供400GB/s的吞吐量，可用于連接計(jì)算和存儲(chǔ)，這一速度比上一代系統(tǒng)提升了1倍。 

　　DGX H100系統(tǒng)是新一代英偉達(dá)DGX POD和DGX SuperPOD超級(jí)計(jì)算機(jī)的構(gòu)建模塊。 借助NVLink Switch系統(tǒng)，擁有32個(gè)節(jié)點(diǎn)、256個(gè)GPU的DGX Pod，其HBM3顯存達(dá)20.5TB，顯存帶寬高達(dá)768TB/s。 

　　“相比之下，整個(gè)互聯(lián)網(wǎng)不過(guò)只有100TB/s。”黃仁勛感慨道。 每個(gè)DGX都可借助4端口光學(xué)收發(fā)器連接到NVLink Switch，每個(gè)端口都有8個(gè)100G-PAM4通道，每秒能夠傳輸100GB，32個(gè)NVLink收發(fā)器連接到1個(gè)機(jī)架單元的NVLink Switch系統(tǒng)。 

　　新一代DGX SuperPOD可提供1Exaflops的FP8 AI性能，比上一代產(chǎn)品性能高6倍，能夠運(yùn)行具有數(shù)萬(wàn)億參數(shù)的大型語(yǔ)言模型工作負(fù)載；還有20TB的HBM3顯存、192TFLOPS的SHARP網(wǎng)絡(luò)計(jì)算性能。

　　通過(guò)采用Quantum-2 InfiniBand連接及NVLink Switch系統(tǒng)，新DGX SuperPOD架構(gòu)在GPU之間移動(dòng)數(shù)據(jù)的帶寬高達(dá)70TB/s，比上一代高11倍。 

　　Quantum-2 InfiniBand交換機(jī)芯片擁有570億個(gè)晶體管，能提供64個(gè)400Gbps端口。多個(gè)DGX SuperPOD單元可組合使用。 

　　此外，英偉達(dá)推出新的DGX-Ready托管服務(wù)計(jì)劃，以助力簡(jiǎn)化AI部署。其DGX Foundry托管的開(kāi)發(fā)解決方案正在全球擴(kuò)展，北美、歐洲和亞洲的新增地點(diǎn)支持遠(yuǎn)程訪問(wèn)DGX SuperPOD。 

　　DGX Foundry中包含英偉達(dá)Base Command軟件，該軟件能夠使客戶基于DGX SuperPOD基礎(chǔ)設(shè)施，輕松管理端到端AI開(kāi)發(fā)生命周期。 

　　基于A100，英偉達(dá)最先進(jìn)的企業(yè)級(jí)AI基礎(chǔ)設(shè)施DGX H100系統(tǒng)、DGX POD、DGX SuperPOD以及一一登場(chǎng)。它們將從今年第三季度開(kāi)始供應(yīng)。 黃仁勛稱，在財(cái)富10強(qiáng)企業(yè)和100強(qiáng)企業(yè)中，分別有8家和44家企業(yè)使用DGX作為AI基礎(chǔ)架構(gòu)。