在配備 NVIDIA GPU 的雲端伺服器的支援下，全球每天有數百萬人都在使用聊天機器人。現在這些開創性工具將出現在搭載 NVIDIA RTX 處理器的 Windows PC 上，以便讓人在本機端快速使用量身打造的生成式人工智慧（AI）。
現已開放免費下載的技術展示內容 Chat with RTX，透過本機端的 NVIDIA GeForce RTX 30 系列或更高規格的 GPU 且具備 8GB 以上視訊隨機存取記憶體（VRAM）加速，可以讓使用者以自己的內容打造個人專屬的聊天機器人。
變身「包打聽」
Chat with RTX 利用檢索增強生成（RAG）、NVIDIA TensorRT-LLM 軟體及 NVIDIA RTX 加速技術，將生成式 AI 功能引入有著 GeForce 技術支援的 Windows PC。使用者可以快速、輕鬆地將 PC 本機端上的檔案當成資料集，連接到 Mistral 或 Llama 2 這一類開源大型語言模型，以便快速查詢與上下文有關的答案。
使用者無需搜尋筆記或儲存的內容，只要在 Chat with RTX 工具輸入查詢內容，如「我的夥伴推薦拉斯維加斯的哪一間餐廳」等，該工具就會掃描使用者指向的本機端檔案，並且按照上下文提供答案。
Chat with RTX 工具支援包括 .txt、.pdf、.doc/.docx 和 .xml 在內的多種檔案格式，將應用程式指向有著這些檔案的資料夾，Chat with RTX 工具就會在幾秒鐘內將它們載入到檔案庫中。
此外，使用者還能加入 YouTube 影片和播放清單裡的資訊。在 Chat with RTX 工具裡輸入影片網址，使用者便能整合這些知識與聊天機器人，並進行上下文查詢，例如根據使用者最喜歡的網紅發布的影片內容推薦的旅遊資訊，或是依照頂尖學習資源獲得教學影片和操作方法。
Chat with RTX 可以在 Windows RTX PC 和工作站上以本機端的方式運行，能夠快速提供查詢結果，且使用者的資料仍能保留在裝置上。與依賴雲端環境的 LLM 服務不同，Chat with RTX 無需分享給第三方或是連結到網路，能讓使用者在 PC 本機端上處理敏感資料。
Chat with RTX 的使用需配備 GeForce RTX 30 系列或更高版本 GPU 且具備 8GB 以上 的 VRAM ，並搭配作業系統 Windows 10 或 11 和最新的 NVIDIA GPU 驅動程式。
使用RTX開發以LLM為基礎的應用程式
Chat with RTX 展現出利用 RTX GPU 加速 LLM 的潛力，這款應用程式使用 GitHub 上的 TensorRT-LLM RAG 開發者參考專案構建而成。開發者可以使用該參考專案，為 RTX 開發和部署以 RAG 為基礎的私人應用程式，並且由 TensorRT-LLM 進行加速。深入瞭解如何建立以 LLM 為基礎的應用程式。
NVIDIA RTX PC 生成式人工智慧開發人員競賽活動現正火熱展開中，參賽者在 2 月 23 日（五）前繳交一款由生成式 AI 支援的 Windows 應用程式或外掛程式，就有機會贏得 GeForce RTX 4090 GPU、NVIDIA GTC 大會全程現場演講通行證等多項好禮！
▼Create A Personalized AI Chatbot with Chat With RTX
編註：Chat with RTX 中存在一個問題，使用者選擇不同的安裝目錄時，會造成安裝失敗，該問題將在日後的版本中修復。目前使用者應使用預設的安裝目錄（「C:\Users\<username>\AppData\Local\NVIDIA\ChatWithRTX」）。
ioioTIMES「年度金賞2023」 
