media MarkTechPost · há 1 h · releases

Dyna Robotics lança Dyna-2, um modelo de ação no mundo pré-treinado em 1 milhão de horas de vídeo humano

Traduzido do English → Português (BR)

A Dyna Robotics lançou o Dyna-2, um modelo de ação no mundo para manipulação robótica que foi pré-treinado com mais de um milhão de horas de vídeo egocêntrico humano. A empresa demonstra que vídeos humanos comuns podem substituir dados rotulados com ações ao estabelecer uma lei de escala de 1.000 a 1.000.000 de horas.

O Dyna-2 é um modelo generativo que utiliza uma estrutura base de difusão de vídeo, realizando desruído simultâneo do vídeo futuro e dos blocos de ação.
O modelo exibe uma lei de escala nos dados humanos que se transfere para tarefas robóticas não vistas em zero-shot em duas plataformas bimanuais estacionárias.
O desruído conjunto de vídeo e ação supera o treinamento apenas com ações, sendo o vídeo especificamente benéfico para a generalização entre diferentes embodieds.
O pós-treinamento em 14 tarefas mostrou que as pontuações normalizadas médias subiram de 20% para 53% à medida que os dados escalaram para um milhão de horas.
O Dyna-2 atendeu aos critérios de produção em 87% dos locais de clientes não vistos, comparado a 46% do modelo anterior Dyna-1.

A pesquisa indica que a previsão de vídeo impulsiona a transferência para dados robóticos, permitindo que o sistema aprenda com vastas quantidades de experiência humana não rotulada em vez de depender de teleoperação custosa.

Importância 2/3 MarkTechPost Robotics Training methods

Artigos relacionados

lab Hugging Face Blog · há 23 d · 8 visualizações

Visão geral dos motores de simulação para IA Física: MuJoCo, Isaac Sim e Newton

Este artigo apresenta uma visão geral do estado atual da simulação para IA Física, explicando como a simulação preenche a lacuna de dados para robótica ao permitir ambientes de treinamento escaláveis e fotorrealistas. Ele descreve um paradigma de três computadores (treinamento, simulação e no robô) e categoriza os principais motores de simulação com base em suas capacidades específicas e casos de uso.

arxiv arXiv cs.LG · há 27 d · 2 visualizações

RoboTTT escala políticas robóticas para contexto de 8 mil etapas

Pesquisadores apresentam o RoboTTT, uma receita de treinamento que estende o contexto visuomotor para modelos fundamentais de robótica até 8.000 etapas sem aumentar a latência de inferência. O método integra Treinamento no Momento do Teste em políticas Visão-Linguagem-Ação usando pesos rápidos atualizados por descida de gradiente durante tanto o treinamento quanto a inferência.

arxiv arXiv cs.AI · há 27 d

RoboTTT escala políticas robóticas para contexto de 8 mil etapas

A NVIDIA apresenta o RoboTTT, um modelo fundamental e uma receita de treinamento para robôs que estende o contexto visuomotor para 8.000 etapas sem aumentar a latência de inferência. Ao integrar o Test-Time Training em políticas Vision-Language-Action, o sistema comprime o histórico no espaço de pesos usando pesos rápidos atualizados por descida do gradiente.

media Hugging Face Forums · há 21 h

Calibra detecta problemas em conjuntos de dados de aprendizado robótico

O autor apresenta o Calibra, um kit de ferramentas de código aberto projetado para analisar e garantir a integridade dos conjuntos de dados de aprendizado robótico. A ferramenta visa evitar o desperdício de computação ao identificar dados problemáticos antes do início do treinamento.

lab NVIDIA Research · há 1 d · 32 visualizações

LLMs igualam ou superam a otimização bayesiana para otimização de hiperparâmetros

Um novo artigo explora o uso de modelos de linguagem grandes fundamentais (LLMs) para automatizar a otimização de hiperparâmetros (HPO), um processo que normalmente depende de abordagens manuais em configurações com orçamento limitado. Os autores desenvolveram uma metodologia onde os LLMs sugerem configurações de hiperparâmetros com base nas descrições do conjunto de dados e do modelo, que são então refinadas iterativamente de acordo com o desempenho do modelo.