NVIDIA 發表採用全新 Hopper 架構的新一代加速運算 GPU 產品 H100
NVIDIA 今日（3/23）宣布，為推動下一波人工智慧（AI）資料中心的發展，將推出採用 NVIDIA Hopper 架構的新一代加速運算平台，效能較上一代平台呈指數級成長。這個以美國電腦科學家先驅葛麗絲·霍普（Grace Hopper）命名的全新架構，將接替兩年前推出的 NVIDIA Ampere 架構。
NVIDIA 同時宣布推出首款採用 Hopper 架構的 GPU 產品 NVIDIA H100，封裝 800 億個電晶體，是全球最大且效能最強大的加速器，具突破性的功能，例如革命性的 Transformer Engine 及具高度擴展性的 NVLink 互連技術，可用於推動極大規模的 AI 語言模型、深度推薦系統、基因組學和複雜的數位孿生等領域的發展。
-
NVIDIA H100 這款 GPU 封裝了 800 億個電晶體，是全球最大且效能最強大的加速器
NVIDIA 創辦人暨執行長黃仁勳表示：「資料中心將成為 AI 工廠，用來處理海量資料並從中提煉出寶貴的智慧。NVIDIA H100 是全球 AI 基礎設施的引擎，讓企業得以加速推動各項 AI 業務的進展。」
H100 的突破性技術
NVIDIA H100 GPU 為加速大規模 AI 及高效能運算樹立了新標準，並帶來六項突破性創新：
- 全球最先進的晶片：H100 擁有 800 億個電晶體，採用台積電 4 奈米 4N 製程、專為滿足 NVIDIA 加速運算需求而設計，在加速 AI、高效能運算、記憶體頻寬、互連和通訊方面具有重大進展，包括每秒近 5TB 的外部連接速度。H100 是首款支援 PCIe Gen5 及首款使用 HBM3 的 GPU 產品，提供每秒 3TB 的記憶體頻寬。20 個 H100 GPU 便足以支撐全世界的網路流量，讓客戶得以運行先進的推薦系統和大型語言模型，即時使用各項資料進行推論。
- 全新 Transformer Engine：Transformer 已是自然語言處理的首選標準模型，是史上最重要的深度學習模型之一。相較於前一代產品，H100 加速器的 Transformer Engine 能夠將這些網路的速度提高六倍，又不失其精度。
- 第二代安全多執行個體 GPU：多執行個體 GPU（Multi-Instance GPU；MIG）技術可以將一個 GPU 分割成七個較小、完全隔離的執行個體以處理各類工作。Hopper 架構在雲端環境裡為每個 GPU 執行個體提供安全的多租戶配置，將 MIG 的能力較前一代擴大高達七倍。
- 機密運算：H100 是全球首款具有機密運算能力的加速器，可以在處理 AI 模型和客戶資料時加以保護。對於醫療照護和金融服務等對隱私極為敏感的產業，在進行聯邦學習時同樣能運用機密運算，在共享的雲端基礎設施上也同樣可行。
- 第四代 NVIDIA NVLink：為加快最大型 AI 模型的運作速度，以 NVLink 搭配全新的外部 NVLink 交換器，將 NVLink 當成伺服器以外的垂直擴展網路，相較於使用 NVIDIA HDR Quantum InfiniBand 的前一代產品，能以超過九倍的頻寬連接多達 256 個 H100 GPU。
- DPX 指令：與使用 CPU 相比，全新 DPX 指令將用於眾多演算法（包括路線最佳化及基因組學）的動態規畫執行速度加快高達 40 倍；而與使用前一代的 GPU 相比，速度加快了七倍。這包括為動態倉庫環境中的自主機器人車隊尋找最佳路線的 Floyd-Warshall 演算法，以及用於 DNA 和蛋白質分類及折疊的序列比對 Smith-Waterman 演算法。
-
NVIDIA H100 為每個資料中心提供突破性的效能、可擴展性與安全性
H100 的多項技術創新擴大了 NVIDIA 在 AI 推論和訓練的領先地位，使 NVIDIA 能夠利用巨大的 AI 模型做到即時和沉浸式應用。H100 讓聊天機器人可以使用全球最強大的單體 transformer 語言模型 Megatron 530B，其傳輸量超過前一代產品達 30 倍，同時滿足即時對話式 AI 所需的次秒級延遲。H100 同時讓研究人員和開發人員能夠訓練像是 Mixture of Experts 這類大規模模型，包含 3,950 億個參數，能將速度提高達九倍，將訓練時間從過去所需的數週減少到數日便能完成。
業界廣泛採用 NVIDIA H100
NVIDIA H100 可以部署在各類型的資料中心內，包括企業內部、雲端、混合雲和邊緣。預計今年稍晚透過全球各大雲端服務供應商及電腦製造商供貨，也可以直接向 NVIDIA 購買。
-
各種規格的 NVIDIA H100 將直接由 NVIDIA 及全球頂尖的系統製造商和雲端供應商提供
NVIDIA 第四代 DGX 系統 DGX H100 搭載八個 H100 GPU，可在全新 FP8 精度下提供 32 petaflops 的 AI 運算表現，這個規模足以滿足大型語言模型、推薦系統、醫療研究及氣候科學的大規模運算需求。
透過第四代 NVLink 技術連接 DGX H100 系統中的每個 GPU，能提供每秒 900GB 的連接速度，高出前一代產品 1.5 倍。NVSwitch 技術讓八個 H100 GPU 能透過 NVLink 連接。一台外部 NVLink 交換器可以連接新一代 NVIDIA DGX SuperPOD 超級電腦中多達 32 個 DGX H100 節點。
Hopper 已經獲得各大雲端服務供應商的支持，包括阿里雲、Amazon Web Services（AWS）、百度智能雲、Google Cloud、Microsoft Azure、Oracle Cloud 和騰訊雲，這些業者計畫將提供基於 H100 的執行個體。
全球一級系統製造商預計將推出多款搭載 H100 加速器的伺服器產品，包括源訊（Atos）、BOXX Technologies、思科（Cisco）、戴爾科技（Dell Technologies）、富士通（Fujitsu）、技嘉（GIGABYTE）、新華三（H3C）、慧與科技（Hewlett Packard Enterprise）、浪潮（Inspur）、聯想（Lenovo）、Nettrix 與美超微（Supermicro）。
各種規格的 NVIDIA H100
H100 將有 SXM 和 PCIe 兩種規格，以滿足各種伺服器的設計要求。同時也將推出一款融合加速器，將 H100 GPU 搭配 NVIDIA ConnectX-7 400Gb/s InfiniBand 及 Ethernet SmartNIC。
H100 SXM 規格將用於 HGX H100 伺服器主機板上，提供四路和八路配置，供企業在一台伺服器和多台伺服器上的應用程式擴大到多個 GPU 上。搭載 HGX H100 的伺服器為 AI 訓練和推論、資料分析和高效能運算應用程式提供最佳運算表現。
-
NVIDIA HGX H100 伺服器主機板將提供四路和八路配置，供企業在一台伺服器的多個系統上的應用程式擴大到多個 GPU 上
H100 PCIe 規格使用 NVLink 來連接兩個 GPU，提供較 PCIe 5.0 高出七倍的頻寬，為在主流企業伺服器上運行的應用程式提供出色效能。PCIe 的規格尺寸讓此產品能夠輕鬆地被納入現有的資料中心基礎設施中。
全新的融合加速器 H100 CNX 是將 H100 搭配 ConnectX-7 SmartNIC，為企業資料中心的多節點 AI 訓練以及邊緣的 5G 訊號處理等 I/O 密集型應用程式提供突破性的效能。
-
融合加速器 H100 CNX 將 NVIDIA H100 搭配 ConnectX-7 SmartNIC，為 IO 密集型應用程式提供突破性的效能
採用 NVIDIA Hopper 架構的 GPU 還能與 NVIDIA Grace CPU 搭配，後者具備超高速 NVLink-C2C 互連技術，與 PCIe 5.0 相比，CPU 與 GPU 之間的資料傳輸速度提高七倍以上。這樣的組合誕生出 Grace Hopper 超級晶片，用於巨大規模高效能運算及 AI 應用程式的整合模組。
NVIDIA 軟體支援
NVIDIA 提供強大的軟體工具來支援 H100 GPU，開發人員與企業便能建立及加速 AI 與高效能運算各類應用程式，包括針對語音、推薦系統和超大規模推論等作業負載所推出的 NVIDIA AI 軟體套件重大更新。
NVIDIA 同時發布了超過 60 項 CUDA-X 函式庫、工具和技術更新，以加快量子運算、6G 網路研究、網路安全、基因組學和藥物開發等方面的進展。
供貨時程
NVIDIA H100 將於第三季開始供貨。
