Black Forest Labs a publié FLUX 3 Action, un modèle d'action mondiale (WAM) à poids ouverts de 7 milliards de paramètres pour le contrôle robotique, qui occupe la première place du classement RoboLab-120 avec un taux de réussite de tâche de 42,92 %.

  • Le modèle prédit conjointement les futures images vidéo et les actions robotiques en lisant les images de la caméra, l'état du robot et les instructions textuelles.
  • Il surpasse Cosmos 3 Nano de NVIDIA de 6,1 points de pourcentage tout en utilisant 56 % de paramètres en moins.
  • BFL propose trois recettes de points de contrôle : Base, Guidance-distilled (1,8x à 2x plus rapide) et Step-distilled (jusqu'à 4x plus rapide).
  • Le modèle prend en charge le fine-tuning via LoRA et est intégré dans Hugging Face LeRobot pour le déploiement sur les bords avec NVIDIA Jetson.
  • Des évaluations sur du matériel réel avec un bras Franka ont montré que FLUX 3 Action a réussi 93,3 % des tentatives, surpassant les 90 % de Cosmos 3 Nano.

La publication offre une solution déployable qui équilibre la haute précision des modèles prédictifs vidéo avec la vitesse des modèles vision-langage-action.