Les chercheurs proposent CARLA-GS, un pipeline modulaire qui synthétise des cas limites photoréalistes pour la conduite autonome en découpant la représentation visuelle, le raisonnement sémantique et l'exécution basée sur la physique. Le système reconstruit des scènes gaussiennes éditables à partir de données de conduite réelles, utilise un LLM multi-agents pour identifier les interactions risquées et générer des waypoints au niveau de l'intention, et délègue le contrôle du mouvement de bas niveau à CARLA avec un contrôleur PID.
- Reconstruit des scènes gaussiennes éditables avec des contraintes cohérentes géométriquement à partir de données de conduite réelles.
- Emploie un LLM multi-agents pour le raisonnement au niveau de la scène afin de détecter les risques et générer des trajectoires de waypoints.
- Utilise CARLA et un contrôleur PID pour garantir la faisabilité cinématique et dynamique du mouvement du véhicule.
- Réprojette les états simulés du véhicule dans la scène gaussienne pour un rendu egocentrique.
Les expériences sur le Waymo Open Dataset démontrent que le cadre permet une génération contrôlée de vidéos photoréalistes, cohérentes spatio-temporellement et alignées avec l'intention sémantique et les contraintes physiques.