Os autores propõem o 4DR360, um framework para percepção de cena completa de 360 graus que realiza conjuntamente a detecção de objetos 3D e a previsão de ocupação semântica usando dados de radar de onda milimétrica 4D e câmera. O método modela a ocupação semântica como um estado persistente da cena propagado através de etapas para agregação de características de grosseiro a fino.
- Melhoria BEV guiada por estado (SBE) fortalece a representação intra-frame de Vista Superior do Pássaro.
- Fusão Temporal guiada por Doppler (DTF) preserva evidências do estado em horizontes temporais mais longos.
- O conjunto de dados ManTruckScenes é estendido com rótulos de ocupação gerados baseados em mapas satelitais.
- A avaliação usa um protocolo cruzado unificado entre conjuntos de dados pareando ManTruckScenes com OmniHD-Scenes.
O framework aborda a limitação dos métodos existentes que otimizam a detecção enquanto decodificam caixas e ocupação com interação limitada, visando avançar no aprendizado multitarefa baseado em radar.