Исследователи изучают причины, по которым модели «зрение-язык» (VLM) испытывают трудности с подсчётом объектов, несмотря на то, что внутренне кодируют правильные значения.

  • Обучение линейных зондов на активациях четырёх VLM в рамках пяти наборов данных показывает, что модели часто кодируют правильный счёт даже при выдаче неверного ответа.
  • Анализ SVCCA выявляет, что зонды, обученные на эталонных значениях и выводах моделей, занимают частично пересекающееся подпространство активаций, но считываются вдоль несовпадающих направлений.
  • Каузальный управляющий эксперимент доказывает, что усиление направления, идентифицированного зондами счёта, улучшает производительность подсчёта.
  • Метод самокоррекции, направляемый детектором, повторно инициирует запросы модели только тогда, когда внутренний детектор ошибок предсказывает неудачу.

Это вмешательство во время вывода повышает точность подсчёта на 15,6 абсолютных процентных пунктов без каких-либо обновлений параметров, устанавливая зондирование ошибок на основе активаций как практический инструмент для улучшения VLM.