Los investigadores proponen CARLA-GS, una canalización modular que sintetiza casos extremos fotorrealistas para la conducción autónoma al desacoplar la representación visual, el razonamiento semántico y la ejecución basada en física. El sistema reconstruye escenas gaussianas editables a partir de datos reales de conducción, utiliza un LLM multiagente para identificar interacciones riesgosas y generar puntos de ruta a nivel de intención, y delega el control de movimiento de bajo nivel a CARLA con un controlador PID.
- Reconstruye escenas gaussianas editables con restricciones consistentes con la geometría a partir de datos reales de conducción.
- Emplea un LLM multiagente para el razonamiento a nivel de escena para detectar riesgos y generar trayectorias de puntos de ruta.
- Utiliza CARLA y un controlador PID para garantizar la viabilidad cinemática y dinámica del movimiento del vehículo.
- Re-proyecta los estados simulados del vehículo en la escena gaussiana para la renderización centrada en el conductor.
Los experimentos en el Conjunto de Datos Abierto Waymo demuestran que el marco permite la generación controlada de videos fotorrealistas y consistentes espacial y temporalmente, alineados con la intención semántica y las restricciones físicas.