Utilisant Apple Vision Pro pour contrôler les robots à distance, NVIDIA : Il n'est pas difficile « d'intégrer l'homme et la machine »

Huang Renxun a déclaré : « La prochaine vague d'IA est celle des robots, et l'un des développements les plus passionnants est celui des robots humanoïdes. » Aujourd'hui, le projet GR00T a franchi une autre étape importante.

Hier, le fondateur de NVIDIA, Huang Jensen, a parlé de son modèle de base universel de robot humanoïde "Projet GR00T" dans son discours d'ouverture du SIGGRAPH 2024. Le modèle reçoit une série de mises à jour en termes de fonctionnalités.

Professeur adjoint à l'Université du Texas à Austin et chercheur scientifique principal chez NVIDIA, Yuke Zhu a tweeté, démontrant dans la vidéo comment NVIDIA intègre le cadre de formation par simulation à grande échelle de robots ménagers généraux RoboCasa et le système MimicGen dans la plateforme NVIDIA Omniverse. et la plateforme de développement de robots Isaac. # Couvre les trois plates-formes informatiques de Nvidia, dont AI, Omniverse et Jetson Thor. Tirez-en parti pour simplifier et accélérer les flux de travail des développeurs. Grâce à l’autonomisation conjointe de ces plates-formes informatiques, nous devrions entrer dans l’ère des robots humanoïdes pilotés par l’IA physique.

Le plus grand point fort est que les développeurs peuvent utiliser Apple Vision Pro pour contrôler à distance des robots humanoïdes afin d'effectuer des tâches.

Pendant ce temps, un autre chercheur scientifique principal de Nvidia, Jim Fan, a déclaré que les mises à jour du projet GR00T étaient passionnantes. NVIDIA utilise une approche systématique pour mettre à l'échelle les données robotiques afin de résoudre les défis les plus difficiles en matière de robotique.

L'idée est également très simple : les humains collectent des données de démonstration sur de vrais robots, et NVIDIA étend ces données mille fois ou plus en simulation. Grâce à la simulation accélérée par GPU, les utilisateurs peuvent désormais échanger de la puissance de calcul contre le travail long, laborieux et coûteux de collecte de données.

Il raconte qu'il n'y a pas si longtemps, il pensait que la télécommande était fondamentalement inévolutive car dans le monde atomique, nous étions toujours limités à 24 heures/robots/jours. Le nouveau pipeline de données synthétiques de NVIDIA sur GR00T brise cette limitation dans le monde des bits.

Concernant les derniers progrès de Nvidia dans le domaine des robots humanoïdes, certains internautes ont déclaré qu'Apple Vision Pro avait trouvé la meilleure solution.

NVIDIA commence à mener la prochaine vague : l'IA physique

NVIDIA a également détaillé le processus technique d'accélération des robots humanoïdes dans un blog. Le contenu complet est le suivant :

.Pour accélérer le développement des robots humanoïdes dans le monde, NVIDIA a annoncé un ensemble de services, de modèles et de plates-formes informatiques destinés aux principaux fabricants mondiaux de robots, développeurs de modèles d'IA et fabricants de logiciels afin de développer, former et construire la prochaine génération de robots humanoïdes.

這套產品包括用於機器人模擬和學習的全新NVIDIA NIM 微服務和框架、用於運行多階段機器人工作負載的NVIDIA OSMO 編排服務，以及支援AI 和模擬的遠端操作工作流程，該工作流程允許開發者使用少量人類演示資料來訓練機器人。

黃仁勳表示：「AI 的下一波浪潮是機器人，其中最令人興奮的發展之一是人形機器人。我們正在推進整個NVIDIA 機器人堆疊的發展，面向全球人形機器人開發者和公司開放訪問，讓他們能夠使用最符合其需求的平台、加速庫和AI 模型。的預先建置容器，使開發人員能夠將部署時間從幾週縮短到幾分鐘。

兩個新的 AI 微服務將允許機器人專家在 NVIDIA Isaac Sim 中增強生成實體人工智慧模擬工作流程。

MimicGen NIM 微服務根據來自空間計算設備（如 Apple Vision Pro）記錄的遠端資料產生合成運動資料。 Robocasa NIM 微服務可在 OpenUSD 中產生機器人任務和模擬環境。

雲端原生託管服務 NVIDIA OSMO 現已推出，允許用戶在分散式運算資源（無論是在本地還是在雲端）中協調和擴展複雜的機器人開發工作流程。 OSMO 的出現大大簡化了機器人訓練和模擬工作流程，將部署和開發週期從數月縮短至不到一周。

為人形機器人開發者提供先進的資料擷取工作流程

訓練人形機器人背後的基礎模型需要大量的資料。獲取人類演示數據的一種方法是使用遠端操作，但這種方式正變得越來越昂貴和漫長。

透過在 SIGGRAPH 電腦圖形大會上展示的 NVIDIA AI 和 Omniverse 遠端操作參考工作流程，研究者和 AI 開發者能夠從極少量遠端捕捉的人類演示中產生大量合成運動和感知資料。

首先，開發人員使用 Apple Vision Pro 捕捉少量遠端簡報。然後，他們在 NVIDIA Isaac Sim 中模擬錄音，並使用 MimicGen NIM 微服務從錄音中產生合成資料集。

開發人員使用真實數據和合成數據來訓練 Project GR00T 人形機器人基礎模型，從而節省了大量的時間並降低了成本。然後，他們使用 Isaac Lab 中的 Robocasa NIM 微服務（一種機器人學習框架）來產生經驗以重新訓練機器人模型。在整個工作流程中，NVIDIA OSMO 將運算任務無縫地分配給不同的資源，為開發者減少了數週的管理工作量。

擴大對NVIDIA 人形機器人開發者技術的訪問權限

NVIDIA 提供了三個計算平台來簡化人形機器人的開發：用於訓練模型的NVIDOIA 構建模型的NVIDOmverse 構建模型；的NVIDIA Isaac Sim，機器人可以在模擬世界中學習和完善技能；以及用於運行模型的NVIDIA Jetson Thor 人形機器人電腦。開發人員可以根據自己的特定需求存取和使用全部或部分平台。

透過新的 NVIDIA 人形機器人開發者計劃，開發者可以提前使用新產品以及 NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor 和 Project GR00T 通用人形機器人基礎模型的最新版本。

1x、波士頓動力、字節跳動、Field AI、Figure、Fourier、Galbot、LimX Dynamics、Mentee、Neura Robotics、RobotEra 和 Skild AI 是首批加入早期訪問計劃的公司。

開發人員現在可以加入 NVIDIA 人形機器人開發人員計劃，以存取 NVIDIA OSMO 和 Isaac Lab，並且很快將獲得 NVIDIA NIM 微服務的存取權限。

部落格連結：

https://nvidianews.nvidia.com/news/nvidia-accelerates-widw-humanvel-me

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!