Исследователи предлагают Структурированный Разреженный Автоэнкодер (S²AE), который обеспечивает согласованность концепций как с семантической, так и с пространственной точек зрения в визуальной модальности моделей «визуальный-текст». Метод группирует патчи изображений на основе сходства внимания Transformer и пространственной близости, внедряя регуляризацию структурированной разреженности для направления латентных нейронов к различным, семантически обоснованным концепциям.
- Протестировано на Qwen2.5-VL-7B-Instruct: S²AE достигает среднего улучшения в семантическом выравнивании (mIoU) на 6,06% и показателя 60,81 по репрезентативной эффективности (нижняя норма l0).
- Подход сохраняет почти идеальную точность реконструкции с объясненной дисперсией выше 99%.
- Кросс-модальный анализ показывает средний прирост семантической согласованности на 3,08% и средний прирост показателей моносемантичности на 2,37% для обеих модальностей мультимодальных признаков.
Используя визуальные структурные априорные знания, S²AE усиливает моносемантичность нейронов, способствуя более согласованным и развязанным репрезентациям между модальностями.