Pesquisadores propõem o ROSA, um sistema de serviço para modelos fundamentais de robótica projetado para fábricas de robôs que vai além das premissas de computação de borda para um único robô. O sistema utiliza serviço compartilhado de GPU-pool para permitir que frotas de robôs acessem GPUs de classe de servidor pela rede.
O Calibra v0.7.1 introduz uma nova etapa de Integridade do Conjunto de Dados que é executada antes da análise de qualidade e cobertura para ajudar os usuários a verificar se seus conjuntos de dados de robótica são confiáveis.
O Google DeepMind lançou o Gemini Robotics 2, uma camada de inteligência composta por três modelos projetados para habilitar controle do corpo inteiro, destreza com cinco dedos e colaboração entre múltiplos robôs. O lançamento inclui um modelo Vision-Language-Action (VLA), um VLM de raciocínio corporificado e um VLA para dispositivos locais, superando as capacidades anteriores de manipulação em mesas.
A Google introduziu o Gemini Robotics 2, uma camada de inteligência projetada para fornecer a robôs adaptáveis um controle inteligente de corpo inteiro, destreza avançada e capacidade de colaborar em equipes. Esta atualização expande as capacidades da IA física além de tarefas estreitas e repetitivas, permitindo que os robôs raciocinem sobre movimentos e se adaptem rapidamente a novos corpos.
A Google lançou o Gemini Robotics ER 2, um novo modelo de raciocínio corporificado projetado para ajudar os robôs a pensar rápido e planejar tarefas em múltiplos passos em tempo real. A atualização traz melhorias significativas em relação à versão anterior ER 1.6, incluindo rastreamento contínuo do progresso com base em vídeo, localização precisa de momentos-chave e capacidades nativas de colaboração entre múltiplos robôs.
O Calibra é uma ferramenta de código aberto projetada para auditar conjuntos de dados robóticos e identificar problemas de qualidade antes do treinamento. Ele fornece ferramentas para construir coresetes conscientes da qualidade e estimar os resultados do treinamento.
O Calibra é um toolkit de código aberto projetado para ajudar pesquisadores a auditar conjuntos de dados de robôs e identificar problemas de qualidade antes de treinar políticas. O primeiro lançamento público inclui um Espaço interativo Robot Dataset Health Check para auditar conjuntos de dados LeRobot e uma avaliação comparativa de 30 conjuntos de dados públicos do LeRobot com pontuações de saúde.
Os Laboratórios de Pesquisa em Engenharia Humana (HERL) da Universidade de Pittsburgh estão liderando a Plataforma Robótica de Mobilidade e Manipulação Assistiva que Fornece Independência para Pessoas com Deficiência (RAMMP), um projeto apoiado por até US$ 41,5 milhões em financiamento do ARPA-H. A iniciativa visa criar soluções de mobilidade assistiva mais seguras e adaptáveis para usuários de cadeiras de rodas, integrando robótica avançada aos modelos de visão por IA de código aberto da Meta.
A NVIDIA apresentou o Cosmos-H-Dreams, um simulador generativo em tempo real e condicionado a ações para robótica cirúrgica que destila as capacidades de seu Cosmos-H-Surgical-Simulator em um modelo estudante causal. Atendido por meio da biblioteca FlashDreams da NVIDIA, otimizada para streaming-inference acelerado, o sistema permite controle interativo por uma pessoa ou política aprendida em loop fechado.
A Black Forest Labs lançou o FLUX 3, uma família de modelos de fluxo multimodal que inclui capacidades de geração de vídeo com áudio nativo. O lançamento também apresenta o FLUX-mimic, uma variante projetada para aplicações de robótica de ação em vídeo.
Este artigo apresenta uma visão geral do estado atual da simulação para IA Física, explicando como a simulação preenche a lacuna de dados para robótica ao permitir ambientes de treinamento escaláveis e fotorrealistas. Ele descreve um paradigma de três computadores (treinamento, simulação e no robô) e categoriza os principais motores de simulação com base em suas capacidades específicas e casos de uso.
A NVIDIA lançou o Cosmos 3 Edge, um modelo de mundo aberto com 4 bilhões de parâmetros projetado para rodar em dispositivo para robôs e agentes de IA de visão. Lançado em 20 de julho no Hugging Face, ele permite que sistemas entendam o ambiente, raciocinem em tempo real e gerem ações roboticamente localmente, sem dependência da nuvem.
A Pollen Robotics lançou o Grabette, um dispositivo portátil de código aberto projetado para registrar dados de manipulação robótica do mundo real sem exigir um robô ou uma estrutura de teleoperação. O sistema utiliza uma câmera olho de peixe e uma câmera de profundidade RGBD para capturar trajetórias 6-DoF, permitindo que os usuários gerem conjuntos de dados limpos que podem ser processados por meio de um painel baseado em navegador e compartilhados no Hugging Face Hub.
A NVIDIA lançou o Cosmos 3 Edge, um modelo de mundo aberto com 4 bilhões de parâmetros projetado para oferecer desempenho de nível de data center em sistemas de borda com memória limitada. O modelo permite que robôs e agentes de IA de visão compreendam seu entorno, raciocinem em tempo real e gerem ações diretamente em dispositivos como os módulos NVIDIA Jetson.
A Mistral AI lançou o Robostral Navigate, seu primeiro modelo projetado para navegação corporificada usando apenas uma câmera RGB. O modelo de 8B parâmetros aceita instruções em linguagem natural e entradas de imagem para guiar robôs por ambientes complexos como escritórios e cenários ao ar livre.
Pesquisadores apresentam o RoboTTT, uma receita de treinamento que estende o contexto visuomotor para modelos fundamentais de robótica até 8.000 etapas sem aumentar a latência de inferência. O método integra Treinamento no Momento do Teste em políticas Visão-Linguagem-Ação usando pesos rápidos atualizados por descida de gradiente durante tanto o treinamento quanto a inferência.
A NVIDIA apresenta o RoboTTT, um modelo fundamental e uma receita de treinamento para robôs que estende o contexto visuomotor para 8.000 etapas sem aumentar a latência de inferência. Ao integrar o Test-Time Training em políticas Vision-Language-Action, o sistema comprime o histórico no espaço de pesos usando pesos rápidos atualizados por descida do gradiente.
A Xiaomi apresentou o Xiaomi-Robotics-U0, um modelo autoregressivo multimodal de 38 bilhões de parâmetros projetado para síntese corporal unificada. O modelo trata a geração corporal como uma extensão da geração de imagens e vídeos de base, otimizando conjuntamente a geração de texto para imagem, edição de imagens, geração de cenas corporais, transferência corporal e geração de vídeo corporal.
Este artigo apresenta o PAC-ACT, um framework de pós-treinamento baseado em aprendizado por reforço projetado para aprimorar políticas do Action Chunking Transformer (ACT) pré-treinadas para tarefas industriais de contato de precisão. O método reformula a otimização da política no nível de chunk e utiliza uma arquitetura actor-critic transferida com ACT, juntamente com uma restrição híbrida de prior de comportamento.
A NVIDIA aborda o desafio de avaliar rigorosamente os modelos fundamentais de robótica, que agora podem seguir instruções em linguagem natural para manipular objetos. A empresa identifica a avaliação como um problema crítico não resolvido e apresenta um novo método para abordar essas questões.