Nvidia lança modelo de IA GR00T 2 para treinar robôs com vídeos

Na Conference on Robot Learning, em Austin (Texas, Estados Unidos), a Nvidia apresentou o GR00T 2, modelo aberto que permite a robôs aprender habilidades manuais a partir de vídeos de humanos.

10/11 às 13:20

Pontos principais

A Nvidia classifica o GR00T 2 como um 'world action model', que prevê como as próprias ações mudarão o que o robô vê antes de executá-las.
O treinamento usou 100 mil horas de vídeos egocêntricos (filmados em primeira pessoa) de humanos, de código aberto, além de dados de robôs.
Sem demonstrações específicas para cada tarefa, o modelo completou 40 de 50 tarefas avaliadas pelo menos uma vez.
Com uma demonstração por tarefa, teve média de 71% de sucesso nas 50 tarefas; com cinco demonstrações, a média subiu para 95%.
Transfere habilidades aprendidas com demonstrações humanas entre corpos de robôs diferentes, sem demonstrações feitas no robô.
A Nexuni testa o modelo em lavanderia robótica, a Foxconn na montagem de servidores e a Siemens em uso industrial.
O Isaac Lab 3.0, ferramenta de código aberto para simulação de treinamento de robôs, aceita os motores de física PhysX e Newton.
Em um benchmark de manipulação hábil com visão, a Nvidia diz que o Isaac Lab 3.0 treina até 2,5 vezes mais rápido que a versão 2.3.
O Video to Data, fluxo de trabalho aberto, transforma vídeo humano em demonstrações simuladas para robôs.
A Nvidia afirma que o modelo ficou entre os três primeiros em categorias de VLA e de modelos de ação de mundo nos benchmarks RoboCasa365, RoboLab, RoboDojo e MolmoSpaces.

A Nvidia apresentou o GR00T 2 na Conference on Robot Learning (CoRL), em Austin, no Texas, nos Estados Unidos. Segundo a empresa, o modelo é aberto, de fronteira, e foi construído sobre o Cosmos, também da Nvidia. Ele combina dados de robôs e de pessoas para que robôs aprendam habilidades de manipulação com destreza a partir de vídeos humanos.

Nexuni, Foxconn e Siemens testam o modelo, mas nenhuma delas anunciou uso em produção nem prazo para escala.

Fonte primária

NVIDIA (blog oficial)

Practice Makes Precise: At CoRL, NVIDIA and Partners Reveal How Robots Rehearse Delicate Work in Simulation

No Conference on Robot Learning (CoRL), a NVIDIA apresenta o GR00T 2, descrito como "modelo de mundo e ação" (world action model) aberto e de fronteira, construído sobre o Cosmos da NVIDIA. Treinado com dados de robôs e de humanos, incluindo 100.000 horas de dados egocêntricos humanos de código aberto da NVIDIA, o modelo permite que robôs aprendam habilidades de manipulação destras. Segundo o post: completou 40 de 50 tarefas avaliadas pelo menos uma vez sem demonstrações específicas; transfere habilidades aprendidas com demonstrações humanas entre corpos de robôs diferentes, sem demonstrações de robô; atingiu 71% de sucesso médio em 50 tarefas com uma demonstração por tarefa, subindo para 95% com cinco. A NVIDIA diz que o modelo está entre os três primeiros em categorias de VLA e de modelos de ação de mundo nos benchmarks RoboCasa365, RoboLab, RoboDojo e MolmoSpaces. Também anuncia o Video to Data, fluxo de trabalho aberto que transforma vídeo humano em demonstrações simuladas para robôs, e o Isaac Lab 3.0. Nexuni, Foxconn e Siemens estão testando o modelo em lavanderia robótica, montagem de servidores e uso industrial.

Tópicos relacionados

NVIDIA

Cobertura da mídia