最先進(jìn)企業(yè)級AI設(shè)施！英偉達(dá)推出第4代DGX系統(tǒng)DGX H100

　　在今天的GTC 2022大會上，英偉達(dá)創(chuàng)始人兼CEO黃仁勛公布了NVIDIA新一代架構(gòu)與核心，它就是面向HPC高性能計算、AI人工智能的“Hopper”，對應(yīng)核心編號“GH100”。

　　GH100核心采用的其實是臺積電目前最先進(jìn)的4nm工藝，而且是定制版，CoWoS 2.5D晶圓級封裝，單芯片設(shè)計，集成多達(dá)800億個晶體管，號稱世界上最先進(jìn)的芯片。完整版有8組GPC(圖形處理器集群)、72組TPC(紋理處理器集群)、144組SM(流式多處理器單元)，而每組SM有128個FP32 CUDA核心，總計18432個。Tensor張量核心來到第四代，共有576個，另有60MB二級緩存。

　　性能方面，F(xiàn)P64/FP32 60TFlops(每秒60萬億次)，F(xiàn)P16 2000TFlops(每秒2000萬億次)，TF32 1000TFlops(每秒1000萬億次)，都三倍于A100，F(xiàn)P8 4000TFlops(每秒4000萬億次)，六倍于A100。

　　此外，英偉達(dá)還推出了第四代英偉達(dá)DGX系統(tǒng)DGX H100，DGX H100是一款基于英偉達(dá)H100 Tensor Core GPU的AI平臺。 是最先進(jìn)的企業(yè)級AI基礎(chǔ)設(shè)施。一起來了解下吧！

　　DGX H100系統(tǒng)中每塊GPU都通過第四代 NVLink連接，可提供900GB/s的帶寬，是上一代系統(tǒng)的1.5倍。DGX H100的顯存帶寬可達(dá)24TB/s。 

　　每個DGX H100系統(tǒng)配備8塊H100 GPU，總計有6400億個晶體管，由NVLink連接，在全新的FP8精度下AI性能可達(dá)32Petaflops，比上一代系統(tǒng)性能高6倍。 

　　該系統(tǒng)支持雙x86 CPU，每個系統(tǒng)還包含2個英偉達(dá)BlueField-3 DPU，用于卸載、加速和隔離高級網(wǎng)絡(luò)、存儲及安全服務(wù)。 

　　8個英偉達(dá)ConnectX-7 Quantum-2 InfiniBand網(wǎng)卡能夠提供400GB/s的吞吐量，可用于連接計算和存儲，這一速度比上一代系統(tǒng)提升了1倍。 

　　DGX H100系統(tǒng)是新一代英偉達(dá)DGX POD和DGX SuperPOD超級計算機(jī)的構(gòu)建模塊。 借助NVLink Switch系統(tǒng)，擁有32個節(jié)點、256個GPU的DGX Pod，其HBM3顯存達(dá)20.5TB，顯存帶寬高達(dá)768TB/s。 

　　“相比之下，整個互聯(lián)網(wǎng)不過只有100TB/s。”黃仁勛感慨道。 每個DGX都可借助4端口光學(xué)收發(fā)器連接到NVLink Switch，每個端口都有8個100G-PAM4通道，每秒能夠傳輸100GB，32個NVLink收發(fā)器連接到1個機(jī)架單元的NVLink Switch系統(tǒng)。 

　　新一代DGX SuperPOD可提供1Exaflops的FP8 AI性能，比上一代產(chǎn)品性能高6倍，能夠運行具有數(shù)萬億參數(shù)的大型語言模型工作負(fù)載；還有20TB的HBM3顯存、192TFLOPS的SHARP網(wǎng)絡(luò)計算性能。

　　通過采用Quantum-2 InfiniBand連接及NVLink Switch系統(tǒng)，新DGX SuperPOD架構(gòu)在GPU之間移動數(shù)據(jù)的帶寬高達(dá)70TB/s，比上一代高11倍。 

　　Quantum-2 InfiniBand交換機(jī)芯片擁有570億個晶體管，能提供64個400Gbps端口。多個DGX SuperPOD單元可組合使用。 

　　此外，英偉達(dá)推出新的DGX-Ready托管服務(wù)計劃，以助力簡化AI部署。其DGX Foundry托管的開發(fā)解決方案正在全球擴(kuò)展，北美、歐洲和亞洲的新增地點支持遠(yuǎn)程訪問DGX SuperPOD。 

　　DGX Foundry中包含英偉達(dá)Base Command軟件，該軟件能夠使客戶基于DGX SuperPOD基礎(chǔ)設(shè)施，輕松管理端到端AI開發(fā)生命周期。 

　　基于A100，英偉達(dá)最先進(jìn)的企業(yè)級AI基礎(chǔ)設(shè)施DGX H100系統(tǒng)、DGX POD、DGX SuperPOD以及一一登場。它們將從今年第三季度開始供應(yīng)。 黃仁勛稱，在財富10強(qiáng)企業(yè)和100強(qiáng)企業(yè)中，分別有8家和44家企業(yè)使用DGX作為AI基礎(chǔ)架構(gòu)。