A NVIDIA lançou o Cosmos 3 Edge, um modelo de mundo aberto com 4 bilhões de parâmetros projetado para rodar em dispositivo para robôs e agentes de IA de visão. Lançado em 20 de julho no Hugging Face, ele permite que sistemas entendam o ambiente, raciocinem em tempo real e gerem ações roboticamente localmente, sem dependência da nuvem.

  • O modelo usa uma arquitetura Mixture-of-Transformers com uma torre autoregressiva para raciocínio e uma torre de difusão para geração, compartilhando camadas de atenção multimodal.
  • Ele mapeia diversas encarnações para uma representação de ação comum, suportando movimento de câmera, veículos autônomos, robôs de braço único, braço duplo e humanoides.
  • No NVIDIA Jetson Thor, ele alcança controle em tempo real a 15 Hz com resolução de 640×360, gerando 32 ações por inferência.
  • A NVIDIA também lançou o Cosmos 3 Edge Policy (DROID), uma política pós-treinada para tarefas de pegar e colocar usando o conjunto de dados DROID.
  • O modelo suporta implantação em GPUs NVIDIA RTX PRO, DGX, GeForce RTX e módulos Jetson como os T2000 e T3000.

O lançamento atende à necessidade de desempenho em nível de data center em sistemas de borda com memória limitada, permitindo que desenvolvedores realizem o pós-treinamento do modelo para encarnações específicas em cerca de um dia.