業界標準測試表明，基於NVIDIA Hopper的系統運行TensorRT-LLM軟體，為生成式AI提供了世界上最強大的平台
NVIDIA 正式宣布在業界標準測試中提供了世界上最快的生成式人工智慧（AI）推論平台。
在最新的 MLPerf 基準測試中，NVIDIA TensorRT-LLM 這個可加速和簡化大型語言模型的複雜推論工作的軟體將 GPT-J LLM 上的 NVIDIA Hopper 架構 GPU 效能較六個月前提高了近 3 倍。
速度的大幅提升展示了 NVIDIA 的晶片、系統和軟體全端平台在滿足運行生成式AI嚴苛要求方面的強大能力。
諸多領先的公司正在使用 TensorRT-LLM 最佳化他們的模型。而 NVIDIA NIM 是一套推論微服務，其中包含 TensorRT-LLM 等推論引擎，讓企業比以往能更輕鬆地部署 NVIDIA 推論平台。
提高生成式AI的標準
在 NVIDIA H200 Tensor核心GPU（最新的記憶體增強型Hopper GPU）上運行的 TensorRT-LLM，在 MLPerf 迄今為止最大規模的生成式 AI 測試中提供了最快的運行推論效能。
新的基準測試使用 Llama 2 的最大版本，Llama 2 是最先進的大型語言模型，包含 700 億個參數。該模型比 9 月基準測試中首次使用的 GPT-J 大型語言模型大 10 倍以上。
記憶體增強型 H200 GPU 在 MLPerf 首次亮相時，使用 TensorRT-LLM 每秒產生高達 31,000 個詞元，創下了 MLPerf 的 Llama 2 基準測試的紀錄。
H200 GPU 的結果包括客製化散熱解決方案帶來的高達 14% 的增益。這是標準空氣冷卻以外的創新範例之一，系統製造商正在將其應用到 NVIDIA MGX設計中，以將 Hopper GPU 的效能提升到新的高度。
NVIDIA Hopper GPU 的記憶體提升
NVIDIA 現在已提供 H200 GPU 供客戶測試，並將於第二季出貨。H200 GPU 很快將由近 20 家領先的系統製造商和雲端服務供應商來提供。
H200 GPU 包含 141GB 高頻寬記憶體 HBM3e，運轉速度為 4.8TB/s。與 H100 GPU 相比，記憶體增加了 76%，運行速度提高了 43%。這些加速器可插入與 H100 GPU 相同的主機板和系統，並使用相同的軟體。
借助 HBM3e 記憶體，單個 H200 GPU 能以最高吞吐量運行整個 Llama 2 70B 模型，從而簡化並加速推論。
GH200配備更多的記憶體
NVIDIA GH200 超級晶片中配備更多記憶體，最高可達 624GB 高速記憶體，其中包含 144GB 的 HBM3e 記憶體，此超級晶片將 Hopper 架構 GPU 和節能的 NVIDIA Grace CPU 結合在一個模組上。NVIDIA 加速器是首批使用 HBM3e 記憶體技術的加速器。
憑藉將近 5 TB/s 的記憶體頻寬，GH200 超級晶片在如推薦系統等記憶體密集型的 MLPerf 測試中提供了出色的效能。
橫掃每一個 MLPerf 測試
以每個加速器為基礎，Hopper GPU 在最新一輪 MLPerf 產業基準測試中，橫掃了所有 AI 推論測試。
這些基準測試涵蓋當今最受歡迎的 AI 工作負載和場景，包括生成式 AI、推薦系統、自然語言處理、語音和電腦視覺。NVIDIA 是唯一一家在最新一輪以及自 2020 年 10 月開始 MLPerf 資料中心推論基準測試以來，每一輪都提交所有工作負載結果的公司。
持續的效能提升意味著推論成本的降低，對於全球部署的數百萬個 NVIDIA GPU 來說，推論已成為日常工作中的一大部分，而且還在不斷增長。
推進一切可能
NVIDIA 在基準測試中一個名為「開放組」的特別部分中展示了三種創新技術，這部分是為了測試先進的AI方法而創建。
NVIDIA 工程師使用了一種稱為結構化稀疏性（structured sparsity）的技術，使 Llama 2 的推論速度提高了 33%。結構化稀疏性是一種減少計算的方法，首次在 NVIDIA A100 Tensor核心GPU 中引入。
第二個開放組測試發現，使用剪枝技術（pruning）可以將推論速度提高高達 40%，這是簡化 AI 模型（此例為大型語言模型）以增加推論吞吐量的一種方式。
最後，一種名為 DeepCache 的最佳化方法減少了對 Stable Diffusion XL 模型推論所需的數學運算，將效能提升了驚人的 74%。
所有這些結果都是在 NVIDIA H100 Tensor核心GPU 上運行的。
使用者值得信賴的來源
MLPerf 的測試透明且客觀，因此使用者可以依靠結果做出明智的購買決定。
NVIDIA 的合作夥伴參與 MLPerf 是因為他們知道這對客戶評估 AI 系統和服務來說是一個很有價值的工具。
本輪在 NVIDIA AI 平台上提交結果的合作夥伴包括華碩電腦、思科、戴爾科技集團、富士通、技嘉科技、Google、慧與科技、聯想、Microsoft Azure、甲骨文、雲達科技、美超微、VMware（最近由博通收購）和緯穎科技。
NVIDIA 在本次測試中使用的所有軟體都可以從 MLPerf 資源庫中取得，NVIDIA 不斷將軟體最佳化結果放入 NVIDIA 的 GPU 應用軟體中心 NGC 以及 NVIDIA AI Enterprise的容器中。NVIDIA AI Enterprise 為一個安全、受支援的平台，其中包含 NIM 推論微服務。
下一件大事
生成式 AI 的用例、模型大小和資料集不斷擴大。這就是 MLPerf 不斷發展的原因，增加了 Llama 2 70B 和 Stable Diffusion XL 等主流模型的真實測試。
為了跟上大型語言模型規模的爆炸性增長，NVIDIA 創辦人暨執行長黃仁勳上週在 GTC 上宣布，NVIDIA Blackwell 架構 GPU 將提供兆級參數 AI 模型所需的新效能水平。
大型語言模型的推論非常困難，需要專業知識和 NVIDIA 使用 Hopper 架構 GPU 和 TensorRT-LLM 在 MLPerf 上展示的全端架構。未來還會有更多。
