全新Azure ND MI300X V5執行個體現已全面上線，Hugging Face為首位客戶
微軟採用搭載AMD Instinct MI300X與ROCm軟體的虛擬機器為GPT工作負載帶來領先性價比
AMD（NASDAQ: AMD）在微軟開發者大會（Microsoft Build）為微軟客戶與開發人員展示其最新端對端運算與軟體功能。透過運用 AMD Instinct™ MI300X 加速器、ROCm™開放軟體、Ryzen™ AI 處理器與軟體以及 Alveo™ MA35D 媒體加速器等AMD解決方案，微軟為眾多市場的人工智慧（AI）部署提供強大的工具套組。全新 Microsoft Azure ND MI300X虛擬機器（VM）現已全面上線，協助 Hugging Face 等客戶為其要求最嚴苛的 AI 工作負載挹注優異效能與效率。
AMD 總裁 Victor Peng 表示，AMD Instinct MI300X 與 ROCm 軟體堆疊助力執行 Azure OpenAI Chat GPT 3.5 與 4 版本服務，處理許多全球要求最嚴苛的 AI 工作負載。在 Azure 全新 VM 全面上線後，AI 客戶可更廣泛的透過 MI300X 為 AI 應用帶來高效能與高效率的解決方案。
微軟技術長暨 AI 執行副總裁 Kevin Scott 表示，微軟與 AMD 在多種運算平台上有長久的合作歷史，從最初的 PC、為 Xbox 開發的客製化晶片、HPC 一直到現今的 AI。在不久之前，我們察覺到將強大運算硬體結合所需的系統與軟體最佳化的必要性，如此才能提供令人讚嘆的 AI 效能與價值。我們與 AMD 合作，運用 ROCm 與 MI300X 協助微軟 AI 客戶與開發人員為最先進與運算密集型前沿模型取得出色的性價比成果。我們致力與 AMD 合作，持續推動 AI 進程。
微軟力推AI
Azure ND MI300x v5 VM 系列先前在 2023 年 11 月發布預覽版本，現已在加拿大中部地區（Canada Central region）上線，供客戶執行其 AI 工作負載。這些 VM 以領先業界的效能帶來令人印象深刻的 HBM 儲存容量與記憶體頻寬，讓客戶在 GPU 記憶體中安裝更大模型和／或減少使用 GPU，最終有助於節省功耗與、成本並加速解決方案進程。
這些 VM 與在其中提供支援的 ROCm™軟體也用於 Azure AI 生產力工作負載，包括讓客戶能使用 GPT-3.5 與 GPT-4 模型的 Azure OpenAI 服務。藉由 AMD Instinct MI300X 以及成熟且就緒的 ROCm 開放軟體堆疊，微軟得以在 GPT 推論工作負載上達成領先性價比。
除了 Azure AI 生產力工作負載外，Hugging Face 為首波採用這些 VM 的客戶之一。Hugging Face 僅花一個月就將其模型遷移到 ND MI300X VM 上，使其模型達到令人驚豔的效能與性價比。ND MI300X VM 客戶能基於此將 Hugging Face 模型遷移到 VM，輕鬆且高效地組建與部署自然語言處理（NLP）應用。
Hugging Face 推廣長 Julien Simon 表示，微軟、AMD 與 Hugging Face 在 ROCm 開放軟體產業體系上的深度合作，將讓 Hugging Face 使用者無須改寫程式碼就能運用搭載 AMD Instinct GPU 的 Azure 來運行數十萬種 Hugging Face Hub 提供的 AI 模型，Azure 客戶將能更輕鬆地透過開放模型與開放資源來打造 AI。
此外，開發人員現能在配備 AMD Ryzen AI 的 PC 上運用 AMD Ryzen AI 軟體來最佳化與部署 AI 推論註1。Ryzen AI 軟體讓應用能在 AMD XDNA™架構打造的神經網路處理單元（NPU）上運行，此 NPU 為首款內建於 Windows x86 處理器的專屬 AI 處理晶片註2。僅在 CPU 或 GPU 上執行 AI 模型會很快耗盡電池電力，而在配備 Ryzen AI 的筆電上，AI 模型可交由嵌入式 NPU 來操作，從而騰出 CPU 與 GPU 資源來執行其他運算任務。這大幅增加電池續航力，讓開發人員在設備端執行大型語言模型（LLM）的 AI 工作負載，並在本地端高效地同步執行各種應用。
推動視訊服務與企業運算
微軟選用 AMD Alveo™ MA35D 媒體加速器執行 Microsoft Teams、SharePoint video 等即時視訊工作負載。Alveo MA35D 為支援大規模即時互動串流服務量身打造，將協助微軟透過影片轉碼、解碼、編碼以及自行調適位元速率（adaptive bitrate，ABR）串流等串流影片處理工作負載，確保高品質視訊體驗。憑藉配備第 4 代 AMD EPYC™處理器並結合 Alveo MA35D 加速器的伺服器，微軟正著手：
· 彙整伺服器與雲端基礎架構的能力 － 運用 Alveo MA35D 的高通道密度、能源效率以及超低延遲影片處理功能，微軟能大幅降低所需伺服器的數量，以支援高容量即時互動串流應用。
· 令人印象深刻的效能 － Alveo MA35D 結合基於 ASIC 的影片處理單元，支援 AV1 壓縮標準以及 AI 影片畫質最佳化，協助確保流暢與無縫的視訊體驗。
· 符合未來需求的 AV1 技術 － 藉由提供升級管道支援 AV1 等全新標準，Alveo MA35D 為微軟提供理想解決方案，能持續調適來因應不斷演進的影片處理需求。
第 4 代 AMD EPYC™處理器現已廣泛用在 Azure 的通用型、記憶體密集型、運算最佳化型與加速運算型 VM。這些 VM 展現 AMD EPYC 處理器在雲端的成長與需求，在 Azure 除為通用型與記憶體密集型 VM 提供高達 20% 的效能提升以及更好的性價比，也為運算最佳化型 VM 帶來相較配備前一代 AMD EPYC 處理器的 VM 高達 2 倍的 CPU 效能提升。現開放預覽的 Dalsv6、Dasv6、Easv6、Falsv6 與 Famsv6 VM 系列將在未來數月全面上線。
註1：Ryzen™ AI的定義是專屬AI引擎、AMD Radeon™顯示引擎以及具備AI功能之AMD Ryzen處理器核心的組合。這需要OEM廠商與獨立軟體開發廠商（ISV）的支援，且某些AI功能可能尚未針對AMD Ryzen AI處理器進行最佳化。AMD Ryzen AI相容於：(a) AMD Ryzen 7040與8040系列處理器，Ryzen 5 7540U、Ryzen 5 8540U、Ryzen 3 7440U與Ryzen 3 8440U除外；(b) 所有AMD Ryzen 8000G系列桌上型處理器，Ryzen 5 8500G/GE與Ryzen 3 8300G/GE除外。在購買產品之前，請先向系統製造商詢問產品支援相關功能的狀況。GD-220b
註2：在2023年5月，AMD擁有第一且唯一的專屬AI引擎，內建於x86 Windows處理器之中，這裡指的「專屬AI引擎」定義為AI引擎的唯一功能只有處理AI推論模型，並且是內建於x86處理器晶片的一部分。欲了解詳細資訊，請參閱官網https://www.amd.com/en/products/ryzen-ai。PHX-3
