Los investigadores proponen ROSA, un sistema de servicio de modelos base de robótica diseñado para fábricas de robots que va más allá de los supuestos de computación en el borde y de un solo robot. El sistema utiliza el servicio compartido de GPU-pool para permitir que flotas de robots accedan a GPUs de clase servidor a través de la red.
Calibra v0.7.1 introduce una nueva etapa de Integridad del Conjunto de Datos que se ejecuta antes del análisis de calidad y cobertura para ayudar a los usuarios a verificar si sus conjuntos de datos de robótica son confiables.
Google DeepMind ha lanzado Gemini Robotics 2, una capa de inteligencia que comprende tres modelos diseñados para habilitar el control de cuerpo completo, la destreza de cinco dedos y la colaboración entre múltiples robots. El lanzamiento incluye un modelo Vision-Language-Action (VLA), un VLM de razonamiento encarnado y un VLA en el dispositivo, superando las capacidades anteriores de manipulación en mesa.
Google ha presentado Gemini Robotics 2, una capa de inteligencia diseñada para proporcionar a los robots adaptables un control inteligente de todo el cuerpo, destreza avanzada y la capacidad de colaborar en equipos. Esta actualización expande las capacidades de la IA física más allá de tareas estrechas y repetitivas, permitiendo a los robots razonar sobre los movimientos y adaptarse rápidamente a nuevos cuerpos.
Google ha lanzado Gemini Robotics ER 2, un nuevo modelo de razonamiento encarnado diseñado para ayudar a los robots a pensar rápido y planificar tareas en varios pasos en tiempo real. La actualización introduce mejoras significativas respecto a la versión anterior ER 1.6, incluyendo seguimiento continuo del progreso basado en video, localización precisa de momentos y capacidades nativas de colaboración entre múltiples robots.
Calibra es una herramienta de código abierto diseñada para auditar conjuntos de datos robóticos e identificar problemas de calidad antes del entrenamiento. Proporciona herramientas para construir núcleos conscientes de la calidad y estimar los resultados del entrenamiento.
Calibra es un kit de herramientas de código abierto diseñado para ayudar a los investigadores a auditar conjuntos de datos de robots e identificar problemas de calidad antes de entrenar políticas. El primer lanzamiento público incluye un Espacio interactivo Robot Dataset Health Check para auditar conjuntos de datos LeRobot y una evaluación comparativa de 30 conjuntos de datos públicos de LeRobot con puntuaciones de salud.
Los Laboratorios de Investigación en Ingeniería Humana (HERL) de la Universidad de Pittsburgh están liderando la Plataforma Robótica de Movilidad y Manipulación Asistencial que Proporciona Independencia a Personas con Discapacidades (RAMMP), un proyecto respaldado por hasta $41.5 millones en financiación de ARPA-H. La iniciativa tiene como objetivo crear soluciones de movilidad asistencial más seguras y adaptables para usuarios de sillas de ruedas, integrando robótica avanzada con modelos de visión por IA de código abierto de Meta.
NVIDIA ha presentado Cosmos-H-Dreams, un simulador generativo en tiempo real y condicionado por acciones para robótica quirúrgica que destila las capacidades de su Cosmos-H-Surgical-Simulator en un modelo estudiante causal. Servido a través de la biblioteca FlashDreams de NVIDIA para inferencia acelerada con streaming, el sistema permite el control interactivo por una persona o una política aprendida en un bucle cerrado.
Black Forest Labs ha lanzado FLUX 3, una familia de modelos de flujo multimodal que incluye capacidades de generación de video con audio nativo. El lanzamiento también presenta FLUX-mimic, una variante diseñada para aplicaciones de robótica de acción en video.
Este artículo ofrece una visión general del estado actual de la simulación en IA física, explicando cómo la simulación cierra la brecha de datos para la robótica al permitir entornos de entrenamiento escalables y fotorrealistas. Describe un paradigma de tres computadoras (entrenamiento, simulación y en el robot) y clasifica los motores de simulación clave según sus capacidades específicas y casos de uso.
NVIDIA ha lanzado Cosmos 3 Edge, un modelo de mundo abierto de 4 mil millones de parámetros diseñado para ejecutarse en dispositivo para robots y agentes de visión por IA. Lanzado el 20 de julio en Hugging Face, permite a los sistemas comprender el entorno, razonar en tiempo real y generar acciones robóticas localmente sin dependencia de la nube.
Pollen Robotics ha lanzado Grabette, un dispositivo portátil de código abierto diseñado para grabar datos de manipulación robótica del mundo real sin requerir un robot o equipo de teleoperación. El sistema utiliza una cámara gran angular y una cámara de profundidad RGBD para capturar trayectorias de 6-DoF, permitiendo a los usuarios generar conjuntos de datos limpios que pueden procesarse mediante un panel de control basado en navegador y compartirse en el Hugging Face Hub.
NVIDIA ha lanzado Cosmos 3 Edge, un modelo de mundo abierto de 4 mil millones de parámetros diseñado para ofrecer rendimiento a nivel de centro de datos en sistemas edge con memoria limitada. El modelo permite que los robots y agentes de visión por IA entiendan su entorno, razonen en tiempo real y generen acciones directamente en dispositivos como los módulos NVIDIA Jetson.
Mistral AI ha lanzado Robostral Navigate, su primer modelo diseñado para la navegación corporificada utilizando únicamente una cámara RGB. El modelo de 8B parámetros acepta instrucciones en lenguaje natural y entradas de imagen para guiar a los robots a través de entornos complejos como oficinas y configuraciones al aire libre.
Los investigadores presentan RoboTTT, una receta de entrenamiento que extiende el contexto visuomotor para modelos base de robots hasta 8.000 pasos de tiempo sin aumentar la latencia de inferencia. El método integra el Entrenamiento en Tiempo de Prueba (Test-Time Training) en políticas Visión-Lenguaje-Acción mediante el uso de pesos rápidos actualizados por descenso de gradiente durante tanto el entrenamiento como la inferencia.
NVIDIA presenta RoboTTT, un modelo base para robótica y una receta de entrenamiento que extiende el contexto visuomotor a 8.000 pasos de tiempo sin aumentar la latencia de inferencia. Al integrar el Entrenamiento en Tiempo de Prueba (Test-Time Training) en políticas Visión-Lenguaje-Acción, el sistema comprime el historial en el espacio de pesos mediante pesos rápidos actualizados por descenso de gradiente.
Xiaomi ha presentado Xiaomi-Robotics-U0, un modelo autoregresivo multimodal de 38 mil millones de parámetros diseñado para la síntesis corporal unificada. El modelo trata la generación corporal como una extensión de la generación de imágenes y video de base, optimizando conjuntamente la generación de texto a imagen, la edición de imágenes, la generación de escenas corporales, la transferencia corporal y la generación de video corporal.
Este artículo presenta PAC-ACT, un marco de postentrenamiento basado en aprendizaje por refuerzo diseñado para mejorar las políticas preentrenadas de Action Chunking Transformer (ACT) para tareas industriales de contacto de precisión. El método reformula la optimización de políticas a nivel de chunk y utiliza una arquitectura actor-crítico transferida con ACT junto con una restricción híbrida de prior de comportamiento.
NVIDIA aborda el desafío de evaluar rigurosamente los modelos fundamentales de robótica, que ahora pueden seguir instrucciones en lenguaje natural para manipular objetos. La empresa identifica la evaluación como un problema crítico sin resolver y presenta un nuevo método para abordar estas cuestiones.