Исследователи предлагают унифицированный фреймворк для диагностики причин сбоев моделей зрения и языка, проводя различие между узкими местами визуального распознавания и дефицитами извлечения знаний. В исследовании изучается возможность предсказания этих конкретных источников сбоев по сигналам до генерации на различных наборах данных и семействах моделей.
- Сбои, возникающие из-за узких мест визуального или распознавательного характера, лучше всего описываются представлениями визуальных токенов.
- Ошибки, сохраняющиеся после идентификации сущностей, лучше предсказываются скрытыми состояниями, обусловленными промптом.
- Эти сигналы до генерации позволяют эффективно предсказывать источник сбоя до того, как модель выдаст ответ.
- Неопределенные случаи могут быть направлены на целевые вмешательства, такие как восстановление изображения, поддержка распознавания сущностей или внешнее извлечение информации.
Этот подход позволяет более точно диагностировать неопределенность в VLMs, обеспечивая конкретные корректирующие действия вместо рассмотрения неправильных ответов как монолитных сбоев.