arxiv arXiv cs.AI · há 8 h · research

Show-Harness permite que agentes VLM controlem robôs por meio de uma interface semântica compacta

Traduzido do English → Português (BR)

Os autores apresentam o Show-Harness, um Harness Encarnado que permite que modelos de visão e linguagem (VLM) controlem robôs através de uma interface semântica compacta que vincula intenção a ação. Este sistema expõe unidades de ação semânticas discretas para o raciocínio VLM e utiliza interpretadores específicos da encarnação para ancorá-los em ações locais do robô.

Desbloqueia diretamente VLM front-end proprietários para controle de robôs zero-shot.
Adapta VLM abertos de pequena escala para implantação de baixo custo com apenas algumas GPU-horas de ajuste fino.
Introduz o GUMI (GUI Manipulation Interface) para estender o espaço de ação semântica para a coleta de demonstrações baseadas em GUI.

Agentes VLM equipados com Show-Harness generalizam de forma robusta entre tarefas, encarnações e ambientes, superando paradigmas representativos de agentes e VLA sem exigir capacidade adicional do modelo ou pré-treinamento específico da encarnação custoso.

Importância 2/3 Novo ambiente de avaliação com diferenciais arXiv cs.AI AI agents Robotics

Ler original

Generalist AI lança GEN-1.5, um modelo base de robôs que aprende tarefas a partir de uma demonstração

A Generalist AI lançou o GEN-1.5, um modelo base de robôs voltado para pesquisa, capaz de aprender novas tarefas de manipulação física a partir de uma única demonstração de 3–12 segundos por meio de sua janela de contexto de 30 segundos. Essa capacidade, denominada "prompting físico", surgiu espontaneamente após mais de oito meses de pré-treinamento contínuo em dados de interação física, em vez de ter sido projetada explicitamente.

lab Hugging Face Blog · há 28 d · 24 visualizações

Strands Agents integra LeRobot e Hugging Face Storage Buckets para loops contínuos de dados de robôs

A AWS apresenta o Strands Agents para habilitar um loop contínuo de gravação, treinamento e implantação de políticas de robôs usando conjuntos de dados LeRobot e Hugging Face Storage Buckets. Esta integração permite que agentes sincronizem demonstrações em buckets mutáveis com deduplicação em nível de byte e transmitam conjuntos de dados diretamente do Hub para treinamento sem downloads completos.

media MarkTechPost · há 42 d · 24 visualizações

Google DeepMind lança Gemini Robotics 2 para controle do corpo inteiro e destreza

O Google DeepMind lançou o Gemini Robotics 2, uma camada de inteligência composta por três modelos projetados para habilitar controle do corpo inteiro, destreza com cinco dedos e colaboração entre múltiplos robôs. O lançamento inclui um modelo Vision-Language-Action (VLA), um VLM de raciocínio corporificado e um VLA para dispositivos locais, superando as capacidades anteriores de manipulação em mesas.

lab Google DeepMind Blog · há 42 d · 21 visualizações

Google apresenta Gemini Robotics 2 para controle de corpo inteiro e colaboração entre múltiplos robôs

A Google introduziu o Gemini Robotics 2, uma camada de inteligência projetada para fornecer a robôs adaptáveis um controle inteligente de corpo inteiro, destreza avançada e capacidade de colaborar em equipes. Esta atualização expande as capacidades da IA física além de tarefas estreitas e repetitivas, permitindo que os robôs raciocinem sobre movimentos e se adaptem rapidamente a novos corpos.

lab Google DeepMind Blog · há 42 d · 27 visualizações

Google lança o Gemini Robotics ER 2 com compreensão de vídeo e colaboração entre múltiplos robôs

A Google lançou o Gemini Robotics ER 2, um novo modelo de raciocínio corporificado projetado para ajudar os robôs a pensar rápido e planejar tarefas em múltiplos passos em tempo real. A atualização traz melhorias significativas em relação à versão anterior ER 1.6, incluindo rastreamento contínuo do progresso com base em vídeo, localização precisa de momentos-chave e capacidades nativas de colaboração entre múltiplos robôs.