Исследователи предлагают структурированный разреженный автоэнкодер (S²AE), который решает проблему обычных SAE, испытывающих трудности с обучением согласованным по модальности концепциям в моделях «визия-язык». Метод группирует патчи изображений на основе сходства внимания Transformer и пространственной близости, применяя регуляризацию структурированной разреженности для обеспечения семантической и пространственной согласованности.
- Оценено на Qwen2.5-VL-7B-Instruct: S²AE достигает среднего улучшения в семантическом выравнивании (mIoU) на 6,06% и показателя 60,81 по репрезентативной эффективности (нижняя норма l0).
- Подход сохраняет почти идеальную точность реконструкции с объясненной дисперсией выше 99%.
- Кросс-модальный анализ показывает среднее улучшение семантической согласованности на 3,08% и среднего улучшения показателей моносемантичности на 2,37% для обеих модальностей.
Направляя латентные нейроны на специализацию по различным, семантически обоснованным концепциям, S²AE способствует формированию более согласованных и развязанных репрезентаций как для визуальных, так и для текстовых входных данных.