A Google introduziu o Gemini Robotics 2, uma camada de inteligência projetada para fornecer a robôs adaptáveis um controle inteligente de corpo inteiro, destreza avançada e capacidade de colaborar em equipes. Esta atualização expande as capacidades da IA física além de tarefas estreitas e repetitivas, permitindo que os robôs raciocinem sobre movimentos e se adaptem rapidamente a novos corpos.
A Google lançou o Gemini Robotics ER 2, um novo modelo de raciocínio corporificado projetado para ajudar os robôs a pensar rápido e planejar tarefas em múltiplos passos em tempo real. A atualização traz melhorias significativas em relação à versão anterior ER 1.6, incluindo rastreamento contínuo do progresso com base em vídeo, localização precisa de momentos-chave e capacidades nativas de colaboração entre múltiplos robôs.
Pesquisadores propõem o ROSA, um sistema de serviço para modelos fundamentais de robótica projetado para fábricas de robôs que vai além das premissas de computação de borda para um único robô. O sistema utiliza serviço compartilhado de GPU-pool para permitir que frotas de robôs acessem GPUs de classe de servidor pela rede.
Os Laboratórios de Pesquisa em Engenharia Humana (HERL) da Universidade de Pittsburgh estão liderando a Plataforma Robótica de Mobilidade e Manipulação Assistiva que Fornece Independência para Pessoas com Deficiência (RAMMP), um projeto apoiado por até US$ 41,5 milhões em financiamento do ARPA-H. A iniciativa visa criar soluções de mobilidade assistiva mais seguras e adaptáveis para usuários de cadeiras de rodas, integrando robótica avançada aos modelos de visão por IA de código aberto da Meta.
O Google DeepMind lançou o Gemini Robotics 2, uma camada de inteligência composta por três modelos projetados para habilitar controle do corpo inteiro, destreza com cinco dedos e colaboração entre múltiplos robôs. O lançamento inclui um modelo Vision-Language-Action (VLA), um VLM de raciocínio corporificado e um VLA para dispositivos locais, superando as capacidades anteriores de manipulação em mesas.
A NVIDIA lançou o Cosmos 3 Edge, um modelo de mundo aberto com 4 bilhões de parâmetros projetado para oferecer desempenho de nível de data center em sistemas de borda com memória limitada. O modelo permite que robôs e agentes de IA de visão compreendam seu entorno, raciocinem em tempo real e gerem ações diretamente em dispositivos como os módulos NVIDIA Jetson.
A AWS apresenta o Strands Agents para habilitar um loop contínuo de gravação, treinamento e implantação de políticas de robôs usando conjuntos de dados LeRobot e Hugging Face Storage Buckets. Esta integração permite que agentes sincronizem demonstrações em buckets mutáveis com deduplicação em nível de byte e transmitam conjuntos de dados diretamente do Hub para treinamento sem downloads completos.
A Dyna Robotics lançou o Dyna-2, um modelo de ação no mundo para manipulação robótica que foi pré-treinado com mais de um milhão de horas de vídeo egocêntrico humano. A empresa demonstra que vídeos humanos comuns podem substituir dados rotulados com ações ao estabelecer uma lei de escala de 1.000 a 1.000.000 de horas.
O autor apresenta o Calibra, um kit de ferramentas de código aberto projetado para analisar e garantir a integridade dos conjuntos de dados de aprendizado robótico. A ferramenta visa evitar o desperdício de computação ao identificar dados problemáticos antes do início do treinamento.
O Calibra v0.7.1 introduz uma nova etapa de Integridade do Conjunto de Dados que é executada antes da análise de qualidade e cobertura para ajudar os usuários a verificar se seus conjuntos de dados de robótica são confiáveis.
O Calibra é uma ferramenta de código aberto projetada para auditar conjuntos de dados robóticos e identificar problemas de qualidade antes do treinamento. Ele fornece ferramentas para construir coresetes conscientes da qualidade e estimar os resultados do treinamento.
O Calibra é um toolkit de código aberto projetado para ajudar pesquisadores a auditar conjuntos de dados de robôs e identificar problemas de qualidade antes de treinar políticas. O primeiro lançamento público inclui um Espaço interativo Robot Dataset Health Check para auditar conjuntos de dados LeRobot e uma avaliação comparativa de 30 conjuntos de dados públicos do LeRobot com pontuações de saúde.
A NVIDIA apresentou o Cosmos-H-Dreams, um simulador generativo em tempo real e condicionado a ações para robótica cirúrgica que destila as capacidades de seu Cosmos-H-Surgical-Simulator em um modelo estudante causal. Atendido por meio da biblioteca FlashDreams da NVIDIA, otimizada para streaming-inference acelerado, o sistema permite controle interativo por uma pessoa ou política aprendida em loop fechado.
A Black Forest Labs lançou o FLUX 3, uma família de modelos de fluxo multimodal que inclui capacidades de geração de vídeo com áudio nativo. O lançamento também apresenta o FLUX-mimic, uma variante projetada para aplicações de robótica de ação em vídeo.
Este artigo apresenta uma visão geral do estado atual da simulação para IA Física, explicando como a simulação preenche a lacuna de dados para robótica ao permitir ambientes de treinamento escaláveis e fotorrealistas. Ele descreve um paradigma de três computadores (treinamento, simulação e no robô) e categoriza os principais motores de simulação com base em suas capacidades específicas e casos de uso.
A NVIDIA lançou o Cosmos 3 Edge, um modelo de mundo aberto com 4 bilhões de parâmetros projetado para rodar em dispositivo para robôs e agentes de IA de visão. Lançado em 20 de julho no Hugging Face, ele permite que sistemas entendam o ambiente, raciocinem em tempo real e gerem ações roboticamente localmente, sem dependência da nuvem.
A Pollen Robotics lançou o Grabette, um dispositivo portátil de código aberto projetado para registrar dados de manipulação robótica do mundo real sem exigir um robô ou uma estrutura de teleoperação. O sistema utiliza uma câmera olho de peixe e uma câmera de profundidade RGBD para capturar trajetórias 6-DoF, permitindo que os usuários gerem conjuntos de dados limpos que podem ser processados por meio de um painel baseado em navegador e compartilhados no Hugging Face Hub.
Pesquisadores apresentam o RoboTTT, uma receita de treinamento que estende o contexto visuomotor para modelos fundamentais de robótica até 8.000 etapas sem aumentar a latência de inferência. O método integra Treinamento no Momento do Teste em políticas Visão-Linguagem-Ação usando pesos rápidos atualizados por descida de gradiente durante tanto o treinamento quanto a inferência.
A NVIDIA apresenta o RoboTTT, um modelo fundamental e uma receita de treinamento para robôs que estende o contexto visuomotor para 8.000 etapas sem aumentar a latência de inferência. Ao integrar o Test-Time Training em políticas Vision-Language-Action, o sistema comprime o histórico no espaço de pesos usando pesos rápidos atualizados por descida do gradiente.