MLCommons 於美國時間 9 月 11 日針對 60 億個參數的大型語言 GPT-J，以及電腦視覺和自然語言處理模型發表 MLPerf Inference v3.1 效能基準測試結果。英特爾提交 Habana Gaudi 2 加速器、第 4 代 Intel® Xeon 可擴充處理器和 Intel Xeon CPU Max 系列的測試結果。這些結果不僅顯示英特爾在 AI 推論方面可提供具競爭力的效能表現，更強化英特爾的承諾－在客戶端、邊緣、網路、雲端等一連串 AI 工作負載中，讓AI更容易大規模地落實應用。
「正如同近期MLCommons的結果，展示出英特爾擁有強勁、極具競爭力的AI產品組合，能夠滿足客戶對於高效能、高效率深度學習模型推論和訓練的需求，適合用在最小到最大的各種AI模型，並提供領先的性價比。」
－Sandra Rivera，英特爾執行副總裁暨資料中心和AI事業群總經理
在今年 6 月更新的 MLCommons AI訓練 和 Hugging Face效能基準測試，驗證了 Gaudi2 在最先進視覺語言模型方面的效能優勢；而 9 月 11 日的結果近一步強化英特爾是滿足 AI 運算需求，能夠替代同類型競品的可行方案。
每位客戶均有獨特的考量，而英特爾提供可解決一連串 AI 工作負載推論與訓練難題的產品，將 AI 落實到每個角落。英特爾的 AI 產品讓客戶能夠根據各自的效能、效率和成本目標，在選擇最佳 AI 解決方案時擁有靈活性和選項，同時協助客戶打破封閉的生態系。
Habana Gaudi2 結果：Habana Gaudi2 的 GPT-J 推論效能結果，為其極具競爭力的效能提供有力的驗證。
- Gaudi2 在 GPT-J-99 和 GPT-J-99.9 的伺服器查詢（query）和離線樣本推論效能，分別為每秒 78.58 個查詢和每秒 84.08 個樣本。
- Gaudi2 的效能是 NVIDIA A100 的 2.4 倍（伺服器）和 2 倍（離線）。
- Gaudi2 的提交結果使用 FP8，在此新資料類型的準確度高達 99.9％。
Gaudi2 大約每 6 週至 8 週釋出一次軟體更新，英特爾預期在 MLPerf 基準測試中繼續提升效能並擴大模型覆蓋範圍。
Intel Xeon 結果：英特爾提交第 4 代 Intel Xeon 可擴充處理器的結果，其中包含 GPT-J 在內的所有 7 項推論基準測試。這些結果展現出通用 AI 工作負載的優異效能，包含視覺、語言處理、語音和音訊翻譯模型，以及規模更大的 DLRM v2 推薦和 ChatGPT-J 模型。此外，英特爾仍是唯一一家使用業界標準深度學習生態系軟體來提交公開 CPU 結果的供應商。
- 使用最流行的 AI 框架與函式庫建立並部署通用 AI 工作負載，第 4 代 Intel Xeon 可擴充處理器為其理想之選。1 篇新聞文章約 1,000 字至 1,500 字的 GPT-J 100 字摘要工作，第 4 代 Intel Xeon 處理器在離線模式下每秒可總結 2 個段落，即時伺服器模式下每秒總結 1 個段落。
- 英特爾首次提交 Intel Xeon CPU Max 系列的 MLPerf 結果，該系列可提供高達 64GB 的高頻寬記憶體。在GPT-J 方面，它是唯一能夠達成 99.9％ 準確度的 CPU，這對於需要最高精準度的應用而言十分重要。
- 英特爾和原始設備製造商（OEM）客戶合作，提交他們自己的結果，進一步展現搭載 Intel Xeon 處理器通用伺服器的 AI 效能可擴展性和廣泛可用性，這些伺服器能夠滿足客戶的服務等級協議（SLA）。
MLPerf 被普遍認為是 AI 效能方面最具聲譽的基準測試，能夠進行公平、可重現的效能比較。英特爾預計將為下次的 MLPerf 基準測試提交新的 AI 訓練結果。效能持續不斷的更新，代表英特爾致力於支援客戶，並針對每個 AI 節點提出解決方案－從低成本的 AI 處理器，再到網路、雲端和企業用戶所需的最高效能 AI 硬體加速器和 GPU。
