Cet article fournit un aperçu de l'état actuel de la simulation pour l'IA physique, expliquant comment la simulation comble le manque de données pour la robotique en permettant des environnements d'entraînement évolutifs et photoréalistes. Il décrit un paradigme à trois ordinateurs (entraînement, simulation, sur robot) et classe les principaux moteurs de simulation en fonction de leurs capacités spécifiques et de leurs cas d'utilisation.
- MuJoCo est mis en avant comme un moteur physique rapide et précis pour la dynamique précise et les mouvements riches en contacts, tandis que MuJoCo Warp ajoute l'accélération GPU pour l'apprentissage par renforcement par lots.
- NVIDIA Isaac Sim offre une physique de haute fidélité via PhysX et un rendu RTX photoréaliste dans un cadre OpenUSD.
- Isaac Lab 3.0 se découple des dépendances d'Omniverse pour prendre en charge l'apprentissage robotique léger et multi-backend avec des options pour Newton ou MuJoCo Warp.
- Newton est présenté comme un moteur physique open-source, accéléré par GPU, différentiable, développé par NVIDIA, Google DeepMind et Disney Research, fournissant plusieurs solveurs pour divers systèmes physiques.
Les auteurs concluent que la simulation est devenue fondamentale dans la pile de l'IA incarnée, déplaçant le focus de la vitesse brute du moteur vers des couches d'infrastructure partagées qui permettent des expériences simulées évolutives, variées et de haute qualité.