NVIDIA H200 NVL是低功耗、氣冷式企業機架設計的理想選擇，可將大型語言模型推論速度提高1.7倍，將高效能運算應用的效能提高1.3倍
NVIDIA Hopper 架構自推出以來，已經改變了人工智慧（AI）與高效能運算（HPC）領域的發展格局，協助企業、研究人員與開發人員以更高的效能與更佳的能源效率，解決全球最複雜的挑戰。
NVIDIA 在 Supercomputing （超級運算大會） 2024 （SC24）期間宣布推出 NVIDIA H200 NVL PCIe GPU，這是 Hopper 系列的最新成員。H200 NVL 非常適合資料中心尋找低功耗、氣冷式企業機架設計與彈性配置的組織，無論規模大小，都能加速執行各種 AI 與 HPC 工作負載。
根據近期的一項調查顯示，約有 70% 的企業機架功率在 20kW 及以下與採用氣冷技術。這使得 PCIe GPU 變得非常重要，因為不管是使用一顆、兩顆、四顆或八顆 GPU，PCIe GPU 都能提供更細緻的節點部署方式，讓資料中心能夠在更小的空間中裝載更多的運算能力。企業可以使用現有的機架，選擇最適合其需求的 GPU 數量。
企業可以使用 H200 NVL 加速執行 AI 和 HPC 應用，同時還能降低功耗以提高能源使用效率。與 NVIDIA H100 NVL 相比，H200 NVL 的記憶體增加了 1.5 倍，頻寬增加了 1.2 倍，企業可以使用 H200 NVL 在數小時內微調 LLM 與得到高出 1.7 倍的推論效能。在處理 HPC 工作負載方面，效能則比 H100 NVL 高了 1.3 倍，比 NVIDIA Ampere 架構世代提升 2.5 倍。
NVIDIA NVLink 技術與 H200 NVL 的原始效能相輔相成。最新一代的 NVLink 技術提供比第五代 PCIe 快上七倍的 GPU 對 GPU 通訊速度，提供更高的效能，滿足 HPC、大型語言模型推論及微調的需求。
NVIDIA H200 NVL 搭配強大的軟體工具，可讓企業加速從 AI 到 HPC 等應用。它附帶有 NVIDIA AI Enterprise 這個用於開發和部署生產 AI 的雲端原生軟體平台的五年訂閱。 NVIDIA AI Enterprise 包含 NVIDIA NIM 微服務，能夠安全可靠地部署高效能 AI 模型推論。
企業善用H200 NVL的強大能力
NVIDIA 藉由 H200 NVL 為企業提供開發和部署 AI 與 HPC 工作負載的全堆疊式平台。
客戶看到不同產業裡的多種 AI 與 HPC 使用案例中都出現顯著影響，例如用於客戶服務的視覺 AI 代理與聊天機器人、用於金融的交易演算法、用於改善醫療照護異常偵測的醫療成像、用於製造業的模式識別，以及用於美國聯邦科學組織的地震成像。
Dropbox 正運用 NVIDIA 加速運算來強化其服務與基礎設施。
Dropbox 基礎設施副總裁 Ali Zafar 表示：「Dropbox 處理著大量的內容，因此需要先進的 AI 和機器學習能力。我們正在探索 H200 NVL，以持續提升服務並為客戶帶來更多價值。」
美國新墨西哥大學已將 NVIDIA 加速運算技術用在各種研究與學術應用項目上。
新墨西哥大學先進研究運算中心主任 Patrick Bridges 教授表示：「身為一所公立研究型大學，我們對 AI的承諾讓這所學校能夠站在科技進步的最尖端。隨著我們改為使用 H200 NVL，將能夠加速執行包括資料科學計畫、生物資訊學與基因組學研究、物理與天文模擬，以及氣候建模在內的各種應用項目。」
H200 NVL可在整個生態系裡使用
戴爾科技、慧與科技、聯想和美超微預計將推出多種支援 H200 NVL 的系統配置。
Aivres、永擎電子、技嘉、英業達、微星、和碩聯合科技、雲達科技、緯創資通及緯穎科技的平台，也將提供 H200 NVL。
部分系統是以 NVIDIA MGX 模組化架構為基礎，讓電腦製造商能夠以符合成本效益的方式快速建立大量的資料中心基礎設施設計。
NVIDIA 全球系統合作夥伴將從 12 月開始提供搭載 H200 NVL 的平台。NVIDIA 也正在為 H200 NVL 系統開發企業參考架構，以搭配全球領先合作夥伴推出的系統。
該參考架構將加入 NVIDIA 的專業技術與設計原則，讓合作夥伴與客戶能夠設計和部署以 H200 NVL 為基礎的高效能 AI 基礎設施。這包括全堆疊硬體與軟體建議，以及最佳伺服器、叢集與網路配置的詳細指引。透過 NVIDIA Spectrum-X 乙太網路平台，可將改進網路運作情況，以達到最出色的效能表現。
NVIDIA 將於 11 月 17 日至 22 日在亞特蘭大喬治亞世界會議中心舉行的 SC24 會場中展出多項技術。若要瞭解更多資訊，請觀看 NVIDIA 創辦人暨執行長黃仁勳及 NVIDIA 超大規模與 HPC 部門副總裁 Ian Buck 於台灣時間 11 月 19 日凌晨 2 點 30 分的特別演講。
