NVIDIA ha lanzado Cosmos 3 Edge, un modelo de mundo abierto de 4 mil millones de parámetros diseñado para ejecutarse en dispositivo para robots y agentes de visión por IA. Lanzado el 20 de julio en Hugging Face, permite a los sistemas comprender el entorno, razonar en tiempo real y generar acciones robóticas localmente sin dependencia de la nube.

  • El modelo utiliza una arquitectura Mixture-of-Transformers con una torre autoregresiva para el razonamiento y una torre de difusión para la generación, compartiendo capas de atención multimodal.
  • Mapea diversas encarnaciones a una representación de acción común, admitiendo movimiento de cámara, vehículos autónomos, robots de un solo brazo, de doble brazo y humanoides.
  • En NVIDIA Jetson Thor, alcanza un control en tiempo real a 15 Hz con resolución de 640×360, generando 32 acciones por inferencia.
  • NVIDIA también lanzó Cosmos 3 Edge Policy (DROID), una política post-entrenada para tareas de recogida y colocación utilizando el conjunto de datos DROID.
  • El modelo admite la implementación en GPUs NVIDIA RTX PRO, DGX, GeForce RTX y módulos Jetson como los T2000 y T3000.

El lanzamiento aborda la necesidad de rendimiento a nivel de centro de datos en sistemas de borde con memoria limitada, permitiendo a los desarrolladores post-entrenar el modelo para encarnaciones específicas en aproximadamente un día.