Исследователи предлагают Визуальную семантическую энтропию (VSE), метод, который измеряет неопределённость в моделях «визуальный язык» путём возмущения только изображения при фиксированном текстовом запросе. Этот подход решает проблему неудач существующих методов на основе энтропии, которые не способны точно захватить визуальную неоднозначность из-за излишне уверенных эмбеддингов или доминирования текста.
- VSE группирует сгенерированные ответы в семантические прототипы и вычисляет дисперсию, взвешенную по массе, между ними.
- Метод изолирует визуальные доказательства от чувствительности к промпту за счёт избегания текстового парафразирования.
- Оценка на пяти современных моделях «визуальный язык» и пяти разнообразных VQA бенчмарках демонстрирует эффективность.
- VSE устанавливает новый SOTA для оценки неопределённости VLM.
Авторы считают это важным, поскольку метод обеспечивает более точную меру визуальной неоднозначности, преодолевая ограничения предыдущих техник, опиравшихся на разнообразие выходов или возмущения входных данных.