Авторы предлагают 4DR360, фреймворк для восприятия сцены на 360 градусов, который совместно выполняет обнаружение объектов в 3D и семантическое предсказание занятости, используя данные 4D миллиметрового диапазона радара и камеры. Метод моделирует семантическую занятость как устойчивое состояние сцены, распространяемое через этапы для агрегации признаков от грубого к тонкому.
- Улучшение BEV, направляемое состоянием (SBE), усиливает внутрикадровое представление вида сверху (Bird's Eye View).
- Временное слияние, направляемое эффектом Доплера (DTF), сохраняет доказательства состояния на более длительных временных горизонтах.
- Набор данных ManTruckScenes расширен сгенерированными метками занятости на основе спутниковых карт.
- Оценка использует унифицированный протокол перекрестного набора данных, связывающий ManTruckScenes с OmniHD-Scenes.
Фреймворк решает ограничение существующих методов, которые оптимизируют обнаружение при декодировании коробок и занятости с ограниченным взаимодействием, стремясь продвинуть многозадачное обучение на основе радара.