Les auteurs proposent 4DR360, un cadre de perception à 360 degrés de la scène complète qui effectue conjointement la détection d'objets 3D et la prédiction d'occupation sémantique en utilisant des données radar millimétrique 4D et caméra. La méthode modélise l'occupation sémantique comme un état de scène persistant propagé à travers des étapes pour une agrégation de caractéristiques du grossier au fin.

  • L'amélioration BEV guidée par l'état (SBE) renforce la représentation Bird's Eye View intra-image.
  • La fusion temporelle guidée par le Doppler (DTF) préserve les preuves d'état sur des horizons temporels plus longs.
  • Le jeu de données ManTruckScenes est étendu avec des étiquettes d'occupation générées basées sur des cartes satellites.
  • L'évaluation utilise un protocole croisé unifié entre jeux de données associant ManTruckScenes à OmniHD-Scenes.

Le cadre aborde la limitation des méthodes existantes qui optimisent la détection tout en décodant les boîtes et l'occupation avec une interaction limitée, visant à faire progresser l'apprentissage multi-tâche basé sur le radar.