Amazon Web Services（AWS）宣布推出 Amazon OpenSearch Serverless向量引擎預覽版。該向量引擎在 Amazon OpenSearch Serverless 中提供了一種簡單、可拓展、高效能的相似性搜尋功能，讓用戶能夠輕鬆打造由現代化機器學習（ML）的增強搜尋體驗和生成式 AI 應用程式，毋須管理底層向量資料庫基礎設施。
向量嵌入幫助機器學習的增強搜尋和生成式AI的應用
所有產業的企業都在迅速採用生成式 AI，因為它能夠處理龐大的資料集、生成自動化內容，並提供媲美人類的互動式回應。透過整合聊天機器人、問答系統和個人化推薦等先進的對話生成式 AI 應用程式，客戶正在想方設法澈底變革終端使用者體驗以及與數位平台的交流。這些對話應用程式讓使用者能夠用自然語言進行搜尋和查詢，並透過理解語義、用戶意圖和查詢上下文，生成酷似人類的回應。
機器學習的增強搜尋應用和生成式 AI 的應用程式都需要使用向量嵌入，向量嵌入作為文本、圖像、音訊和影片資料的數位表示，可以用來生成動態的相關內容。向量嵌入基於使用者私有資料進行訓練，代表資訊的語義和內容屬性。理想情況下，這些嵌入可以就近儲存和管理，如接近現有的搜尋引擎或資料庫等特定領域資料集。由此，企業能夠透過處理用戶查詢找到最近的向量，並將它們與其他詮釋資料結合，進而整合搜尋結果。
這一過程完全毋須依賴外部資料來源或其它應用程式。客戶希望向量資料庫是易於打造的，且便於從原型設計快速進入到生產環境，這樣他們就可以將精力集中在創建差異化應用程式上。Amazon OpenSearch Serverless 向量引擎擴展了 Amazon OpenSearch 的搜尋能力，使使用者能夠即時儲存、搜尋和追溯數十億向量嵌入，並精確進行相似性匹配和語義搜尋，毋須考慮底層基礎設施。
探索向量引擎功能
打造於 Amazon OpenSearch Serverless 的向量引擎得益於其穩健的架構。使用向量引擎，使用者不必擔心後端基礎設施的大小選擇、調整和縮放問題。向量引擎可自動調整資源，來適應不斷變化的工作負載模式和需求，進而提供始終如一的快速效能和適當規模。即便向量數量從原型設計期間的數千個猛增至生產環境中的數億個，向量引擎也可以無縫擴展，毋須重新索引或重新載入資料來擴大基礎設施。
此外，向量引擎為索引和工作負載搜尋提供了單獨的運算資源，讓用戶可以即時無縫地獲得、更新和刪除向量，同時確保使用者查詢效能絲毫不受影響。所有資料都長久地儲存在 Amazon Simple Storage Service（Amazon S3）中，因此用戶可以獲得與 Amazon S3 相同的資料持久性保證（11 個 9，即 99.999999999%）。儘管目前還處於預覽階段，但向量引擎是為生產環境工作負載設計的，具有因應可用區（Availability Zone）服務中斷和基礎設施故障的餘裕機制。
Amazon OpenSearch Serverless 向量引擎由開源 OpenSearch 專案中的 k 近鄰（kNN）搜尋功能提供支援，該功能能夠提供可靠而精確的結果。如今，許多客戶在託管集群中使用 OpenSearch kNN 搜尋，以便在應用程式中提供語義搜尋和個人化推薦。向量引擎的使用者體驗與 Serverless 環境一樣簡單易用。向量引擎支援歐氏距離、餘弦相似度和內積等常用的距離指標，可容納 16,000 個維度，因此非常適合支援各種基礎模型及其他 AI/ML 模型。使用者還可以儲存各種資料的不同欄位，例如詮釋資料中的數位、布林值、日期、關鍵字和地理位置，以及包含描述性資訊的文本等，來為儲存的向量添加更多上下文資訊。多種類型資料的合併能降低複雜性，提升可維護性，並且避免資料重複、版本相容性挑戰和授權問題，有效地簡化應用程式棧。
向量引擎支援相同的 OpenSearch 開源套件 API，讓用戶可以充分利用其豐富的查詢功能，例如全文檢索搜尋、進階篩選、聚合、地理空間查詢、巢狀查詢，以加快資料檢索和增強搜尋結果。以要求查找距離用戶 15 英里以內的結果的應用為例，向量引擎可以在單個查詢中完成這項任務，而不需要維護兩個不同系統，並利用應用邏輯將結果合併。透過整合 LangChain、Amazon Bedrock 和 Amazon SageMaker，用戶可以輕鬆地將偏好的機器學習和 AI 系統與向量引擎整合。
向量引擎支援不同領域的廣泛應用，包括圖像搜尋、文檔搜尋、音樂檢索、產品推薦、影片搜尋、基於位置的搜尋、詐騙偵測以及異常偵測。AWS 預測，將詞彙搜尋方法與先進的機器學習和生成式 AI 功能結合的混合搜尋將會日益流行。例如，當使用者在電子商務網站上搜尋「紅色襯衫」時，語義搜尋透過檢索所有紅色來擴大搜尋範圍，同時在詞法（BM25演算法）搜尋上調整和強化邏輯。
利用 Amazon OpenSearch 篩選功能，企業可以為用戶提供基於尺寸、品牌、價格範圍和附近商店存貨狀況等資訊來優化搜尋選項，進一步強化搜尋結果的關聯性，以便打造更個人化、更精準的體驗。向量引擎支援的混合搜尋使得用戶能夠在單個查詢調用中查詢向量嵌入、詮釋資料和描述性資訊，進而在不建立複雜應用程式碼的情況下，輕鬆地提供更準確的、與上下文相關的搜尋結果。
從預覽到正式可用
AWS 近日宣布推出向量引擎的預覽版，用戶可以立即開始試用。
在向量引擎正式可用之前，AWS 計畫推出兩項功能來降低客戶首個集合的成本。第一項功能是新的開發-測試（dev-test）選項，它能讓使用者在沒有備份或副本的情況下啟動集合，進而將入門成本降低 50%。向量引擎仍然提供持久性保證，因為它將所有資料保存在 Amazon S3 中。
第二項功能是在初始階段配置 0.5 OCU（OpenSearch 計算單位）資源，資源將根據使用者的實際工作負載來擴展；如果初始工作負載的規模是數萬到數十萬個向量（取決於維度數量），用戶則可以進一步降低成本。除了這兩項功能外，AWS 將把支援使用者首個集合所需的最低 OCU 從每小時 4 個降至每小時 1 個。
AWS 還在開發一些新功能，在未來幾個月，將會實現工作負載暫停與恢復能力，這項新功能對向量引擎十分有用，因為許多應用不需要持續索引資料。
最後，AWS 持續致力於優化向量圖的效能和記憶體使用，包括改進快取和合併等功能。
在 AWS 致力於降低用戶成本的同時，AWS 將提供 1400 OCU 小時/每月的免費向量集合，直到開發-測試選項宣布可用為止。
Amazon OpenSearch Serverless 向量引擎預覽版現已在全球八個 Region 可用：美國東部（俄亥俄州）、美國東部（維吉尼亞州北部）、美國西部（奧勒岡州）、亞太地區（新加坡）、亞太地區（雪梨）、亞太地區（東京）、歐洲（法蘭克福）和歐洲（愛爾蘭）。
