Исследователи предлагают CARLA-GS, модульный конвейер, который синтезирует фотореалистичные крайние случаи для автономного вождения путем разделения визуального представления, семантического рассуждения и физически обоснованного выполнения. Система реконструирует редактируемые гауссовские сцены из реальных данных вождения, использует многомодельную LLM для выявления рискованных взаимодействий и генерации путевых точек на уровне намерений, а делегирует низкоуровневое управление движением CARLA с ПИД-регулятором.
- Реконструирует редактируемые гауссовские сцены с геометрически согласованными ограничениями из реальных данных вождения.
- Применяет многомодельную LLM для рассуждения на уровне сцены, чтобы выявлять риски и генерировать траектории путевых точек.
- Использует CARLA и ПИД-регулятор для обеспечения кинематической и динамической выполнимости движения автомобиля.
- Проецирует обратно симулированные состояния автомобиля в гауссовскую сцену для рендеринга от первого лица.
Эксперименты на наборе данных Waymo Open демонстрируют, что фреймворк позволяет контролируемо генерировать фотореалистичные видео, пространственно-временные согласованные, соответствующие семантическому намерению и физическим ограничениям.