Os investigadores propõem o CARLA-GS, um pipeline modular que sintetiza casos extremos fotorrealistas para a condução autónoma ao desacoplar a representação visual, o raciocínio semântico e a execução baseada em física. O sistema reconstrói cenas gaussianas editáveis a partir de dados reais de condução, utiliza um LLM multiagente para identificar interações perigosas e gerar pontos de passagem ao nível da intenção, e delega o controlo de movimento de baixo nível ao CARLA com um controlador PID.
- Reconstrói cenas gaussianas editáveis com restrições consistentes com a geometria a partir de dados reais de condução.
- Emprega um LLM multiagente para raciocínio ao nível da cena, detetando riscos e gerando trajetórias de pontos de passagem.
- Utiliza o CARLA e um controlador PID para garantir a viabilidade cinemática e dinâmica do movimento do veículo.
- Re-projeta os estados simulados do veículo na cena gaussiana para renderização centrada no condutor.
Os experimentos no Waymo Open Dataset demonstram que o framework permite a geração controlada de vídeos fotorrealistas, consistentes espacial e temporalmente, alinhados com a intenção semântica e as restrições físicas.