由BigCode社群創建並在600多種程式語言上進行訓練的StarCoder2，推動了程式碼生成、透明度、治理和創新
ServiceNow（NYSE: NOW）、Hugging Face 和 NVIDIA 今天宣布推出 StarCoder2，這是一系列開放存取的大型語言模型，用於程式碼生成，為效能、透明度和成本效益方面設立了新標準。
StarCoder2 是與 BigCode 社群合作開發，該社群由 ServiceNow 和 Hugging Face 管理，ServiceNow 是領先的數位工作流程公司，致力於讓全球工作變得更加順暢，而 Hugging Face 則是最常用的開源平台，機器學習社群在該平台上共同協作開發模型、資料集和應用。
StarCoder2 經過 619 種程式語言的訓練，可以進一步在企業應用中進行訓練和嵌入，執行特定任務，例如應用原始程式碼生成、工作流程生成、文章摘要等等。開發人員可以利用其程式碼自動完成、先進程式碼摘要、程式碼片段擷取等功能，加速創新並提高生產力。
StarCoder2 提供三種模型大小：由 ServiceNow 訓練的 30 億參數模型；Hugging Face 訓練的 70 億參數模型；以及由 NVIDIA 使用 NVIDIA NeMo 構建並在 NVIDIA 加速基礎設施上進行訓練的 150 億參數模型。較小的變體在提供強大效能的同時，也節省了運算成本，因為較少的參數在推論過程中需要更少的運算。事實上，新的 30 億參數模型與原始 StarCoder 的 150 億參數模型的效能相當。
ServiceNow 的 StarCoder2 開發團隊負責人暨 BigCode 聯合負責人 Harm de Vries 強調：「StarCoder2 證明了開放科學協作和負責任的人工智慧（AI）實踐與道德資料供應鏈的綜合力量。最先進的開放存取模型改善了先前的生成式 AI 效能，以提高開發人員的生產力，並為開發人員提供平等的機會享受程式碼生成 AI 的好處，這也進一步使任何規模的組織能更輕鬆地達成其完整的業務潛力。」
Hugging Face 機器學習工程師暨 BigCode 聯合負責人 Leandro von Werra 表示：「在 Hugging Face、ServiceNow 和 NVIDIA 的共同努力下，我們得以推出強大的基礎模型，使社群能夠在資料和訓練的完全透明化的情況下，更有效率地建立各種應用。隨著我們努力實現負責任的 AI 民主化，StarCoder2 證明了開源和開放科學的潛力。」
NVIDIA 應用研究副總裁 Jonathan Cohen 表示：「由於每個軟體生態系統都有專有的程式語言，因此程式碼大型語言模型可以推動各產業在效率和創新的突破。NVIDIA 與 ServiceNow 和 Hugging Face 的合作導入了安全、負責任的開發模型，並支持更廣泛取得負責任的生成式 AI，我們相信這將使全球社群受益。」
StarCoder2模型增強客製化應用開發
StarCoder2 模型採用最先進的架構，並使用來自 BigCode 精心整合的資料源，優先考慮透明度和開放治理，以實現大規模負責任的創新。
StarCoder2 提升了未來 AI 驅動的程式碼應用潛力，包括從文字轉程式碼和文字轉工作流程等功能。透過更廣泛、更深入的程式設計訓練，它為儲存庫提供上下文，從而實現準確且由情境感知的預測行為。這些先進功能也適用於經驗豐富的軟體工程師和公民開發者，加速商業價值和數位轉型。
StarCoder2 的基礎是一個名為 Stack v2 的新程式碼資料集，它比 Stack v1 大 7 倍以上。除了先進資料集之外，新的訓練技術還可以幫助模型理解低資源程式語言（例如 COBOL）、數學和程式原始碼討論。
利用特定業務資料微調進階功能
使用者可以使用 NVIDIA NeMo 或 Hugging Face TRL 等開源工具，根據產業或組織特定的資料對開放式的 StarCoder2 模型進行微調。他們可以創建先進聊天機器人來處理更複雜的摘要或分類任務，開發個人化的程式設計助手來快速輕鬆地完成程式設計任務，檢索相關程式碼片段，並啟用文字轉工作流程的功能。
組織已經開始微調 StarCoder 基礎模型，為其業務創建專門的任務特定功能。
ServiceNow 的文字轉程式碼 Now LLM 建置在具有 150 億參數的 StarCoder 大型語言模型的專門版本上，並針對其工作流程模式、用例和流程進行微調和訓練。Hugging Face 也使用該模型創建 StarChat 助手。
BigCode促進AI領域的開放科學合作
BigCode 代表了由 Hugging Face 和 ServiceNow 領導的開放式科學合作，致力於負責任地開發用於程式碼的大型語言模型。
BigCode 社群透過工作小組和任務小組積極參與 StarCoder2 計畫的技術工作，利用 ServiceNow 的 Fast LLM 框架訓練 30 億參數模型、Hugging Face 的 nanotron 框架訓練 70 億參數模型，以及 NVIDIA NeMo 雲原生框架和 NVIDIA TensorRT-LLM 軟體來訓練和最佳化 150 億參數模型。
促進負責任的創新是 BigCode 的核心宗旨，BigCode 開放治理、透明供應鏈、開源軟體的使用，以及開發人員具備從訓練中排除特定資料的能力都體現了這一點。StarCoder2 是在 Inria 託管的 Software Heritage 數位共享授權下使用來源可靠的資料進行建構。
Software Heritage 總監 Roberto Di Cosmo 表示：「StarCoder2 是第一個使用 Software Heritage 原始碼存檔開發的程式碼生成 AI 模型，其建立符合我們負責任地開發用於程式碼模型的政策。ServiceNow、Hugging Face 和 NVIDIA 的合作體現了對道德 AI 開發的共同承諾，推動技術進步以造福社會更多的人。」
StarCoder2 與其前身都在 BigCode Open RAIL-M 許可下提供，允許免版稅存取和使用。為了進一步促進透明度和協作，該模型的支援程式碼將繼續存放在 BigCode 專案的 GitHub 頁面上。
所有 StarCoder2 模型也可從 Hugging Face 下載，且 StarCoder2 的 150 億參數模型可在NVIDIA AI Foundation 模型上獲得，供開發人員直接從瀏覽器或透過 API 端點進行實驗。
欲了解更多有關 StarCoder2 的相關訊息，請參考：https://huggingface.co/bigcode。
