NVIDIA ha lanzado Cosmos 3 Edge, un modelo de mundo abierto de 4 mil millones de parámetros diseñado para ofrecer rendimiento a nivel de centro de datos en sistemas edge con memoria limitada. El modelo permite que los robots y agentes de visión por IA entiendan su entorno, razonen en tiempo real y generen acciones directamente en dispositivos como los módulos NVIDIA Jetson.

  • Cosmos 3 Edge opera a resolución de control robótico (640×360) y genera 32 acciones por inferencia mientras logra control en tiempo real a 15 Hz en NVIDIA Jetson Thor.
  • Ocupa el puesto #1 entre modelos de tamaño similar en VANTAGE-Bench para análisis de visión y establece el estado del arte para el aprendizaje de políticas robóticas.
  • La arquitectura combina una torre autoregresiva para el razonamiento con una torre de difusión para la predicción, compartiendo capas de atención multimodal para alinear tokens de lenguaje, video, audio y acción.
  • NVIDIA también lanzó Cosmos 3 Edge Policy (DROID) post-entrenado en el conjunto de datos DROID para tareas de pick-and-place, junto con puntos de control de referencia y scripts de entrenamiento.

El lanzamiento permite a los desarrolladores desplegar modelos más cerca de los sensores en el dispositivo, utilizando marcos abiertos para personalizar y especializar el modelo para aplicaciones específicas de IA física.