模型擴展規模空前，並新增推論優化工具及額外的資料功能，為客戶提供了更大的彈性和可控性，更快建構和部署生產級生成式AI
基於Amazon Bedrock企業級功能的堅實基礎，自動推理檢查、多代理合作和模型蒸餾技術助力客戶更快地將生成式AI從概念驗證推進到生產就緒
亞馬遜（Amazon）旗下 Amazon Web Services（AWS）在 2024 年 re:Invent 全球大會上，宣布推出 Amazon Bedrock 的多項創新功能。Amazon Bedrock 是 AWS 一項全受管服務，旨在運用高效能基礎模型建構和擴展生成式人工智慧（AI）應用程式。此次發布進一步彰顯了 AWS 對模型選擇的承諾，同時優化大規模推論的執行方式，幫助客戶從資料中挖掘更多價值。
Amazon Bedrock 的全新功能也將協助客戶避免因模型幻覺（hallucination）造成的事實錯誤、協調多個 AI 驅動的代理以執行複雜任務，以及打造更小、特定任務導向的模型，以更低的成本和延遲提供與大型模型相近的效能。
- ● AWS 即將成為首家提供 Luma AI 和 poolside 模型的雲端服務供應商。AWS 也將把 Stability AI 的最新模型新增至 Amazon Bedrock，並透過全新的 Amazon Bedrock Marketplace 功能為客戶提供 100 多個熱門、新興及專業模型的使用權限，客戶可以根據應用情況找到最合適的模型組合。
- ● 全新的提示詞快取功能和 Amazon Bedrock Intelligent Prompt Routing 功能幫助客戶更輕鬆、更具成本效益地擴展推論工作。
- ● Amazon Bedrock Knowledge Bases 現已支援結構化資料和 GraphRAG，進一步拓展客戶運用自身資料提供客製化生成式 AI 體驗的途徑。
- ● Amazon Bedrock Data Automation 功能能夠在無需編寫程式碼的情況下，自動將非結構化、多模態的資料轉換為結構化資料，以幫助客戶將更多資料應用於生成式 AI 及分析工作中。
- ● 數以萬計的客戶信賴以 Amazon Bedrock 運行生成式 AI 應用程式，過去一年使用該服務的客戶量增長了 4.7 倍。Adobe、Argo Labs、BMW 集團、Octus、Symbeo、Tenovos 和 Zendesk 等公司皆已採用 Amazon Bedrock 的最新技術。
- ● 自動推理檢查（Automated Reasoning checks）是首個也是唯一一個生成式 AI 安全防護機制，可協助防止因模型幻覺而產生的事實錯誤，開闢了對精確度要求極高的全新生成式 AI 應用案例。
- ● 客戶可以使用多代理合作輕鬆建構和協調多個 AI 代理以共同解決問題，進而擴展客戶在生成式 AI 的應用方式，應對最複雜的應用情況。
- ● 模型蒸餾技術使客戶能夠將特定知識從大型、高效能模型轉移到更小、更高效的模型，效率最高可提升 500%，成本最高可降低 75%。
- ● 目前已有數以萬計的客戶使用 Amazon Bedrock，Moody's、PwC 和 Robin AI 都正在運用這些新功能以具成本效益的方式擴展推論能力，並突破生成式AI創新的界限。
AWS AI 和資料全球副總裁 Swami Sivasubramanian 表示：「Amazon Bedrock 服務持續快速增長，因為具備廣泛而領先的模型選擇、可輕鬆基於自身資料進行客製化的工具、內建的負責任 AI 功能以及開發複雜代理的能力，成為越來越多客戶的選擇。為了讓客戶充分釋放生成式 AI 的潛力，Amazon Bedrock 一直致力於解決開發人員目前面臨的最大挑戰。透過本次新發布的一系列新功能，我們將幫助客戶開發出更智慧的 AI 應用程式，讓他們為最終用戶創造更大價值。」
匯集領先AI公司的廣泛模型選擇
Amazon Bedrock 為客戶提供豐富的全受管模型選擇，這些模型來自領先的 AI 公司，包括 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI 以及 Stability AI 等。此外，Amazon Bedrock 是客戶使用新發布的 Amazon Nova 模型的唯一管道。Amazon Nova 是新一代基礎模型，以業界領先的性價比在多種任務上展現出頂尖智慧。透過本次發布，AWS在Amazon Bedrock 上新增更多業界領先的模型，進一步擴展 Amazon Bedrock 的模型選擇範圍。
- ● Luma AI的Ray 2：Luma AI 的多模態模型和軟體產品借助生成式 AI 推動影片內容創作。AWS 將成為首家向用戶提供Luma AI最先進的 Luma Ray 2 模型（其著名影片模型的第二代）的雲端服務供應商。Ray 2象徵生成式AI輔助影片創作的重大進步，它能夠根據文本和圖像高效生成電影級質感、逼真的高品質影片。用戶能夠快速嘗試不同的拍攝角度和風格，打造角色連貫、物理效果準確的影片，為建築、時尚、電影、平面設計以及音樂等領域提供創意成品。
- ● poolside的malibu和point：poolside 解決大型企業現代軟體工程面臨的挑戰。AWS 將成為首家提供 poolside 的 malibu 和 point 模型使用權限的雲端服務供應商，這兩個模型在程式碼生成、測試、文件編製以及即時自動完成程式碼方面表現出色。這有助於工程團隊提高生產力，更快編寫出更優質的程式碼，並加速產品開發週期。這兩種模型還能夠根據客戶的程式碼庫、實際操作以及文檔進行安全、隱私的微調，使其能夠適應特定專案，幫助客戶以更高的準確性和效率處理日常軟體工程任務。此外，AWS 還將成為首家提供 poolside Assistant 使用權限的雲端服務供應商，該功能可以將 poolside 的 malibu 和 point 模型強大的功能加入開發人員偏好的整合開發環境（IDE）中。
- ● Stability AI的Stable Diffusion 3.5 Large：Stability AI 是視覺媒體領域領先的生成式 AI 模型開發者，在圖像、影片、3D 和音訊方面擁有先進的模型。Amazon Bedrock 即將新增 Stability AI 最先進的文本轉圖像模型 Stable Diffusion 3.5 Large。該模型能夠根據各種風格的文本描述生成高品質圖像，加速媒體、遊戲、廣告以及零售領域的客戶創造概念藝術、視覺效果以及詳細的產品圖像。
透過Amazon Bedrock Marketplace使用100多個熱門、新興和專業模型
儘管 Amazon Bedrock 中的模型能夠支援眾多任務，許多客戶仍希望將新興的專用模型融入到他們的應用程式中，以支援獨特的應用情況，例如分析財務文檔、生成新型蛋白質等等。如今，客戶能在 Amazon Bedrock Marketplace 上輕鬆地查找與選擇 100 多個模型，這些模型可部署在 AWS 上，並能透過 Amazon Bedrock 提供一致的使用體驗。這涵蓋了 Mistral AI 的 Mistral NeMo Instruct 2407、Technology Innovation Institute 的 Falcon RW 1B 以及 NVIDIA NIM 微服務等熱門模型，以及眾多專業模型，例如用於金融產業的 Writer 的 Palmyra-Fin、用於翻譯的 Upstage 的 Solar Pro、用於文本轉音訊的 Camb.ai 的 MARS6、用於生物學的 EvolutionaryScale 的 ESM3 生成模型等。
客戶一旦找到他們想使用的模型，就能根據自身的擴展需求選擇合適的基礎設施，並透過全受管端點輕鬆將其部署在 AWS 上。客戶隨後可將該模型與 Amazon Bedrock 統一的應用程式介面（API）安全整合，進而使用 Guardrails 和 Agents 等工具，並受益於內建的安全和隱私功能。
Zendesk 是一家全球服務軟體公司，服務全球 10 萬個品牌的多元文化客戶群。Zendesk 可以在 Amazon Bedrock 中使用用於翻譯的 Widn.AI 等專用模型，透過電子郵件、聊天、電話以及社群媒體對客服需求進行個人化和在地化處理。這將為客服人員提供所需的資料，例如客戶透過母語表達的情緒或用意等，最終提升客服體驗。
提示詞快取和Intelligent Prompt Routing幫助客戶大規模處理推論問題
在選擇模型時，開發人員需要權衡多種因素，如準確性、成本和延遲。優化其中任一因素，都可能要其他因素讓步。為了在應用程式部署到生產環境時平衡這些考量因素，客戶會採用多種技術，例如快取常用提示詞或將簡單問題分配給較小的模型。然而，運用這些技術既複雜又耗時，需要專業知識來反覆測試不同方法，以確保最終用戶獲得良好的體驗。正因如此，AWS 新增了兩項功能，幫助客戶更有效地大規模管理提示詞資訊。
- ● 透過快取提示詞功能降低回應延遲和成本：Amazon Bedrock 現已支援安全地快取提示詞，進而減少重複處理，且不會影響準確性。對於支援的模型，此功能可將成本降低最高 90%，並將延遲縮短最多 85%。例如，律師事務所可以打造一個生成式 AI 聊天應用程式，用於回答律師有關文件的問題。當多名律師在提示詞中詢問關於文檔同一部分的問題時，Amazon Bedrock 能夠快取該部分內容，使其只需要處理一次，之後每當有人想要詢問相關問題時，便可重複使用，透過減少模型每次需要處理的訊息量來降低成本。Adobe 的 Acrobat AI 助理藉此實現快速的文檔摘要和問答功能，提高了用戶的工作效率。根據初步測試，借助 Amazon Bedrock 上的提示詞快取功能，Adobe 發現回應時間縮短了 72%。
- ● Intelligent Prompt Routing功能有助於優化回應品質和成本：借助此功能，客戶能設定 Amazon Bedrock 自動把提示詞分配至同一模型系列裡的不同基礎模型，以優化回應品質和成本。運用先進的提示詞配對和模型理解技術，Intelligent Prompt Routing 能夠預測每個請求對應的每個模型的效能，並將請求動態分配至最可能以最低成本提供所需回應的模型。Intelligent Prompt Routing 可在不影響準確性的情況下，將成本降低多達 30%。Argo Labs 為餐廳提供創新的語音客服解決方案，透過 Intelligent Prompt Routing 處理各類客戶諮詢和訂位業務。當客戶提出問題、下單以及訂位時，Argo Labs 的語音聊天機器人會動態地將查詢請求分配至最合適的模型，進而優化回應的成本和品質。例如「今晚這家餐廳有空位嗎？」這樣簡單的是非題，可以由較小的模型處理，而「這家餐廳提供哪些素食選項？」這類較複雜的問題則可由較大的模型來回答。借助 Intelligent Prompt Routing 功能，Argo Labs 能夠運用語音客服無縫處理客戶互動，同時達成準確性和成本之間的平衡。
Amazon Bedrock知識庫的兩項新功能助力客戶最大程度發揮資料價值
無論自身資料儲存於何處、採用何種格式，客戶都希望運用資料為最終用戶建構獨特的、生成式 AI 驅動的體驗。知識庫是一項全受管功能，客戶借助檢索增強生成（RAG），能夠輕鬆運用上下文和相關資料客製化基礎模型的回應。雖然知識庫已能便捷地連接至 Amazon OpenSearch Serverless 和 Amazon Aurora 等資料來源，但許多客戶還希望將其他資料來源和資料類型融入生成式 AI 應用程式中。因此，AWS 為知識庫新增了兩項功能。
- ● 支援結構化資料檢索功能以加速生成式AI應用程式開發：Knowledge Bases 提供了首批受管式、可立即使用的RAG解決方案，使客戶能夠直接查詢生成式 AI 應用程式中結構化資料的儲存位置。此功能有助於打破資料來源之間的資料孤島，將生成式 AI 開發週期從一個多月縮短至幾天。客戶能夠建構應用程式，讓應用程式運用自然語言查詢 Amazon SageMaker Lakehouse 和 Amazon S3 資料湖、Amazon Redshift 雲端資料倉儲等資料來源中的結構化資料。借助這項新功能，提示詞資訊會轉換為 SQL 查詢，用於檢索資料結果。Knowledge Bases 會根據客戶的架構和資料自動調整，從查詢模式中學習，並提供一系列客製化選項，進一步提高針對所選的應用情況的準確性。信用情報公司 Octus 將運用 Knowledge Bases 中全新的結構化資料檢索功能，讓最終用戶使用自然語言查詢結構化資料。透過將 Knowledge Bases 與 Octus 現有的主要資料管理系統相連，最終用戶的提示詞資訊能轉換為 SQL 查詢，讓 Amazon Bedrock 運用這些 SQL 查詢檢索相關資訊，並作為應用程式回應的一部分回覆給用戶。這將幫助 Octus 的聊天機器人向用戶提供精準的、由資料驅動的洞察，提升使用者與公司一系列資料產品之間的互動。
- ● 支援GraphRAG功能以生成更具相關性的回應：知識圖譜讓客戶透過將相關資訊映射成網狀結構，來針對資料間的關係進行建模和儲存。將這些知識圖譜融入 RAG 時會格外有用，系統可依據圖譜輕鬆審閱並檢索相關資訊片段。如今，由於支援 GraphRAG，Knowledge Bases 讓客戶無需具備圖形資料庫的專業知識，即可使用 Amazon Neptune 圖形資料庫服務自動生成知識圖譜，並跨資料連接實體之間的關係。Knowledge Bases 能夠更便捷地生成更準確、更相關的回應，借助知識圖譜關連性，查看根源資訊以了解模型如何得出特定回應。BMW 集團將在旗下的 My AI Assistant（MAIA）使用 GraphRAG。MAIA 是一款 AI 驅動的虛擬助理，可幫助用戶尋找、了解並整合託管在 AWS 上的公司內部資料資產。借助由 Amazon Neptune 支援的 GraphRAG 自動化圖形建模功能，BMW 集團能夠依據資料使用情況，持續更新 MAIA 所需的知識圖譜，從資料資產中提供更相關且全面的洞察，進而持續為數百萬車主打造優質體驗。
Amazon Bedrock Data Automation將非結構化多模態資料轉換為結構化資料，用於生成式AI和分析
如今，大多數企業資料都是非結構化的，這些資料位於文檔、影片、圖像以及音訊等內容中。許多客戶希望運用這些資料挖掘洞察或為客戶打造新體驗，但將資料轉換為便於分析或 RAG 所需的格式往往是艱難的人工過程。例如，銀行在處理貸款業務時可能會收到多個 PDF 文檔，需要從每個文檔中擷取資訊，統一姓名、出生日期等資料的寫法，然後將結果轉換為文字，再輸入資料倉儲進行分析。借助 Amazon Bedrock Data Automation，客戶能夠使用單個 API 從非結構化內容中大規模自動擷取、轉換並生成資料。
Amazon Bedrock Data Automation 能夠快速且具成本效益地從文檔、圖像、音訊以及影片中擷取資訊，並轉換為結構化格式，適用於智慧文檔處理、影片分析以及 RAG 等應用。此功能可以使用預先定義的預設設定生成內容，例如影片片段每個場景的描述或音訊的逐字內容，客戶也可以根據自身的資料架構生成客製化的輸出內容，並將其輕鬆載入到現有的資料庫或資料倉儲中。透過與 Knowledge Bases 整合，Amazon Bedrock Data Automation 還可以解析內容來支援 RAG 應用程式，透過整合嵌入在圖像和文本中的資訊，提升結果的準確性和相關性。同時，此功能提供信心分數，並基於原始內容生成回應，有助於降低生成幻覺的風險，並提高透明度。
Symbeo 是一家隸屬於 CorVel 的公司，提供自動化應付帳款解決方案。Symbeo 計畫運用 Amazon Bedrock Data Automation，從複雜的文檔（如保險理賠、醫療帳單等）中自動擷取資料。這將幫助 Symbeo 團隊更快速地處理理賠事務，並縮短向客戶回覆的處理時間。數位資產管理平台 Tenovos 使用 Amazon Bedrock Data Automation 在大規模語義搜尋中提升內容的重複使用率50%以上，節省了數百萬美元的行銷費用。
Amazon Bedrock Marketplace 現已正式可用，同時 Amazon Bedrock Knowledge Bases 中的推論管理功能、結構化資料檢索、GraphRAG 以及 Amazon Bedrock Data Automation 均已可供預覽。此外，Luma AI、poolside 和 Stability AI 的模型也即將上線。
AWS強化Amazon Bedrock，推出業界首創的AI防護、全新代理以及模型客製化功能
Swami Sivasubramanian 表示：「Amazon Bedrock 已成為客戶將生成式 AI 變成應用程式和業務核心的必備工具。在過去一年中，Amazon Bedrock 的客戶群成長了 4.7 倍。隨著時間推移，生成式 AI 改變更多公司和客戶體驗，推論將成為每個應用程式的核心。隨著這些新功能的推出，我們正在代表客戶進行創新，以解決整個產業將生成式 AI 應用程式推進到生產時面臨的主要挑戰，例如模型幻覺和成本。」
透過 Amazon Bedrock Guardrails，Amazon Bedrock 能藉由自動推理檢查驗證事實回應的準確性、產生可稽核的輸出，並向客戶顯示模型得出結果的確切原因。這提高了透明度，並確保模型回應符合客戶的規範和政策。而在 Amazon Bedrock 中使用多代理合作，客戶可以為專案的特定步驟打造和分配專門的代理來獲得更準確的結果，並透過協調多個代理平行工作來加速任務。模型蒸餾技術則是在客戶提供範例提示詞後，由 Amazon Bedrock 完成所有回應生成並微調較小的模型。這為客戶提供了一個具有大型模型的相關知識和準確性，但兼具小型模型速度和成本的模型，使其成為生產應用的理想選擇。
