lab Hugging Face Blog · hace 2 h · releases

Visión general de los motores de simulación para IA física: MuJoCo, Isaac Sim y Newton

Traducido del English → Español

Este artículo ofrece una visión general del estado actual de la simulación en IA física, explicando cómo la simulación cierra la brecha de datos para la robótica al permitir entornos de entrenamiento escalables y fotorrealistas. Describe un paradigma de tres computadoras (entrenamiento, simulación y en el robot) y clasifica los motores de simulación clave según sus capacidades específicas y casos de uso.

MuJoCo se destaca como un motor de física rápido y preciso para dinámicas exactas y movimiento rico en contactos, mientras que MuJoCo Warp añade aceleración GPU para el aprendizaje por refuerzo por lotes.
NVIDIA Isaac Sim ofrece física de alta fidelidad mediante PhysX y renderizado RTX fotorrealista dentro de un marco OpenUSD.
Isaac Lab 3.0 se desacopla de las dependencias de Omniverse para admitir el aprendizaje de robots ligero con múltiples backends, con opciones para Newton o MuJoCo Warp.
Newton se presenta como un motor de física diferenciable, acelerado por GPU y de código abierto, desarrollado por NVIDIA, Google DeepMind y Disney Research, que proporciona múltiples solucionadores para varios sistemas físicos.

Los autores concluyen que la simulación se ha vuelto fundamental en la pila de IA encarnada, desplazando el enfoque desde la velocidad cruda del motor hacia capas de infraestructura compartida que permiten experiencias simuladas escalables, diversas y de alta calidad.

Importancia 1/3 Confianza 1/3 Hugging Face Blog NVIDIA Google DeepMind Robotics Training methods

Artículos relacionados

arxiv arXiv cs.LG · hace 4 d

RoboTTT escala las políticas de robots a un contexto de 8K pasos de tiempo

Los investigadores presentan RoboTTT, una receta de entrenamiento que extiende el contexto visuomotor para modelos base de robots hasta 8.000 pasos de tiempo sin aumentar la latencia de inferencia. El método integra el Entrenamiento en Tiempo de Prueba (Test-Time Training) en políticas Visión-Lenguaje-Acción mediante el uso de pesos rápidos actualizados por descenso de gradiente durante tanto el entrenamiento como la inferencia.

arxiv arXiv cs.AI · hace 4 d

RoboTTT escala las políticas de robots a un contexto de 8K pasos de tiempo

NVIDIA presenta RoboTTT, un modelo base para robótica y una receta de entrenamiento que extiende el contexto visuomotor a 8.000 pasos de tiempo sin aumentar la latencia de inferencia. Al integrar el Entrenamiento en Tiempo de Prueba (Test-Time Training) en políticas Visión-Lenguaje-Acción, el sistema comprime el historial en el espacio de pesos mediante pesos rápidos actualizados por descenso de gradiente.

arxiv arXiv cs.AI · hace 32 d

UFP4: El entrenamiento uniforme de 4 bits supera el sesgo de contracción en el preentrenamiento de LLM

Un estudio identifica un sesgo de contracción en los formatos FP4 basados en E2M1 debido a la asimetría geométrica, lo que provoca acumulación de errores multiplicativos e inestabilidad en el entrenamiento. La receta UFP4 propuesta utiliza cuadrículas uniformes E1M2/INT4 y aplica la Transformada de Hadamard Aleatoria a todos los GEMM, logrando una degradación menor de la pérdida que las líneas base E2M1 en el preentrenamiento de LLM a gran escala. Los autores recomiendan E1M2/INT4 como un primitivo de entrenamiento de primera clase para futuros aceleradores.

arxiv arXiv cs.LG · hace 32 d

Reutilización de un clasificador de voz para generación basada en difusión

Un clasificador de voz preentrenado se reutiliza como columna vertebral para la generación de voz guiada por difusión. Al adjuntar una subred ligera y entrenarla bajo emparejamiento de puntuaciones de desvanecimiento, el enfoque logra alta calidad de voz con menor consumo de memoria y costo computacional, utilizando un único modelo en lugar de dos componentes entrenados por separado.

arxiv arXiv cs.LG · hace 32 d · 3 vistas

Cápsulas de estado de ejecución para inferencia de IA en dispositivo con baja latencia

Las cápsulas de estado de ejecución permiten la verificación y restauración de puntos de control vinculados al gráfico del estado completo de ejecución, incluidos los estados KV, recurrentes y de convolución, para la inferencia de IA en dispositivo con baja latencia y lotes pequeños. En RTX 5090 y Jetson AGX Thor, la restauración de cápsulas logra una corrección exacta a nivel de bytes e idéntica a nivel de tokens, con operaciones de GPU de submilisegundo y aceleraciones de TTFT hasta 27x en 16k tokens, demostrando una reducción significativa de latencia en flujos de trabajo de IA interactivos.