연구자들은 비전-언어 모델(VLM)이 내부에 올바른 개수를 인코딩함에도 불구하고 객체 카운팅에서 어려움을 겪는 이유를 조사했습니다. 그들은 비선형 프로브가 이러한 오류를 감지할 수 있음을 발견했으며, 이는 내부 표현과 언어화된 출력 간의 불일치를 드러냅니다.
- 다섯 데이터세트에 걸친 네 가지 VLM의 활성화에서 훈련된 프로브는 모델이 잘못된 답을 출력하더라도 올바른 개수를 인코딩하는 경우가 많음을 보여줍니다.
- SVCCA 분석은 정답 개수와 모델 출력에서 훈련된 프로브가 부분적으로 공유되는 활성화 부분 공간에 위치하지만 불일치 방향을 따라 읽힌다는 것을 드러냅니다.
- 인과적 스티어링 중재는 카운트를 식별하는 프로브의 방향을 강화하는 것이 카운팅 성능을 향상시킴을 입증합니다.
- 검출기 유도 자기 수정 방법은 내부 오류 검출기가 실패를 예측할 때만 모델에 재프롬프트를 선택적으로 수행합니다.
이 추론 시점 중재는 매개변수 업데이트 없이 카운팅 정확도를 최대 15.6 절대 퍼센트 포인트 향상시켜, 활성화 기반 오류 프로브가 VLM을 개선하는 실용적인 도구임을 확립했습니다.