研究者らは、視覚的表現、意味的推論、物理ベースの実行を分離することで、自律運転のためのフォトリアリスティックなコーナーケースを合成するモジュール式パイプラインであるCARLA-GSを提案した。このシステムは、実際の走行データから編集可能なガウシアンシーンを再構築し、マルチエージェントLLMを使用して危険な相互作用を特定し、意図レベルのウェイポイント生成を行い、低レベルの運動制御をPIDコントローラ付きのCARLAに委譲する。

  • 実際の走行データから幾何学的整合性制約を持つ編集可能なガウシアンシーンを再構築する。
  • シーンレベルの推論のためにマルチエージェントLLMを採用し、リスクを検出しウェイポイント軌道を生成する。
  • CARLAとPIDコントローラを使用して、車両運動の運動学的および力学的妥当性を確保する。
  • 模擬された車両状態をガウシアンシーンに再投影し、自己中心レンダリングを行う。

Waymo Open Datasetでの実験により、このフレームワークが意味的意図と物理的制約に整合した、制御可能なフォトリアリスティックで時空間的に一貫性のある動画の生成を可能にすることが示された。