波士頓動力（Boston Dynamics）、Collaborative Robotics、Covariant、Sanctuary AI、Unitree Robotics等公司在機器人領域中採用大型語言模型（LLM）
生成式人工智慧（AI）正在重塑價值數兆美元的產業，而智慧機器人領域的領導者 NVIDIA 正在抓住時機。
今天，作為 CES 前特別演講的一部分，NVIDIA 機器人和邊緣運算副總裁 Deepu Talla 詳細介紹了 NVIDIA 及其合作夥伴如何將生成式AI和機器人結合在一起。
這是一種自然的契合，有越來越多的合作夥伴，包括波士頓動力（Boston Dynamics）、Collaborative Robotics、Covariant、Sanctuary AI、Unitree Robotics 等公司，都在採用 GPU 加速的大型語言模型，為各種機器帶來前所未有的智慧和適應性。
時機再好不過了。
Talla 表示：「由 AI 驅動的自主機器人越來越多地用於提高效率、降低成本和解決勞動力短缺問題。」
參與創造過程
NVIDIA從一開始就在生成式 AI 革命中扮演了重要角色。
十年前，NVIDIA 創辦人暨執行長黃仁勳親自交付了第一台 NVIDIA DGX AI 超級電腦給 OpenAI。現在，受益於 OpenAI 的 ChatGPT，生成式 AI 已成為我們這個時代增長最快的技術之一。
而這只是剛剛開始。
Talla 預測，生成式 AI 的影響將超越文字和圖像生成，擴展到家庭和辦公室、農場和工廠、醫院和實驗室。
關鍵在於大型語言模型（LLM），類似於大腦的語言中心，將使機器人更自然地理解並回應人類的指令。這樣的機器將能夠持續地從人類學習、相互學習，以及向周圍的世界中學習。
Talla 表示：「鑒於這些特性，生成式 AI 非常適用於機器人技術。」
機器人如何使用生成式AI
Agility Robotics、NTT 和其他公司正在將生成式 AI 融入他們的機器人中，以幫助它們理解文字或語音命令。Dreame Technology 的吸塵機器人正於生成式 AI 模型創建出的模擬生活空間中接受訓練。而 Electric Sheep 正在開發一種用於自主修剪草坪的世界模型。
NVIDIA Isaac 和 Jetson 平台等 NVIDIA 技術有助於 AI 驅動的機器人開發和部署，已受到超過 120 萬名開發者、10,000 家公司和合作夥伴所依賴。
其中許多公司本週將參加 CES，包括 Analog Devices、Aurora Labs、Canonical、Dreame Innovation Technology、DriveU、e-con Systems、Ecotron、Enchanted Tools、GlüxKind、Hesai Technology、Leopard Imaging、Segway-Ninebot、Nodar、Orbbec、QT Group、Robosense、Spartan Radar、TDK Corporation、Telit、Unitree Robotics、Voyant Photonics和ZVISION Technologies Co., Ltd。
兩個大腦比一個大腦好
在 CES 的演講中，Talla 展示了在機器人領域部署 AI 所需的雙電腦模型（如下圖），並展示了 NVIDIA 在 AI 開發和應用的全面方法。
第一台電腦，被稱為「AI 工廠（AI Factory）」，是創建和不斷改善 AI 模型的核心。
AI 工廠使用了 NVIDIA 的資料中心運算基礎設施以及其 AI 和 NVIDIA Omniverse 平台，用於模擬和訓練 AI 模型。
第二台電腦代表機器人的運行環境。
這取決於應用情境：它可能在雲端或資料中心，也可以在本地伺服器中，用於執行半導體製造中的缺陷檢查等任務；或在配備多個感測器和攝影機的自動化機器內。
產生高品質的資產和場景
Talla 還強調了大型語言模型在消除技術障礙方面的作用，將典型用戶轉變為能夠創建複雜機器人工作單元或整個倉庫模擬的技術藝術家。使用像是 NVIDIA Picasso 這樣的生成式 AI 工具，使用者可以從簡單的文字提示中生成栩栩如生的 3D 資產，並將它們添加到數位場景中，用於動態和全面的機器人訓練環境。
同樣的功能還可以擴展到在 Omniverse 中創建多樣化且物理上精確的場景，增強機器人的測試和訓練，以確保現實世界的適用性。這與生成式AI在重新配置機器人部署方面的變革潛力相吻合。
傳統上，機器人是專門為特定任務而設計的，而針對不同的任務對其進行修改是一個耗時的過程。
但大型語言模型和視覺語言模型的進步正在消除這一瓶頸，透過自然語言可以與機器人進行更直覺的互動，Talla 解釋道。
這種具有適應性並能感知周圍環境的機器，很快就會遍布世界各地。
