В данной работе анализируются не последовательные мультимодальные эмбеддинги на уровне предложений, с особым вниманием к модели SONAR, чтобы показать, что определенные измерения эмбеддингов чувствительны к возмущениям и могут указывать на аномалии декодирования. Используя согласованность между последовательными этапами кодирования и декодирования, авторам удалось создать точный детектор аномалий.
- Исследование сосредоточено на не последовательных мультимодальных эмбеддингах на уровне предложений с особым акцентом на модели SONAR.
- Определены измерения эмбеддингов, чувствительные к возмущениям, которые служат индикаторами аномалий декодирования.
- Точный детектор создан за счет использования согласованности между последовательными процессами кодирования и декодирования.
- Авторы исследуют возможность изменения конкретных интересных измерений в попытке исправить обнаруженные аномалии.
Эта работа подчеркивает важность понимания и анализа самих эмбеддингов для повышения надежности мультимодальных представлений.