研究人员调查了视觉-语言模型(VLM)在编码正确计数的情况下为何仍难以进行物体计数。他们发现非线性探针可以检测到这些错误,揭示了内部表示与口头输出之间的错位。

  • 在五个数据集上的四个VLM激活上训练探针表明,即使输出错误答案,模型也常常编码了正确的计数。
  • SVCCA分析显示,使用真实计数和模型输出训练的探针占据部分共享的激活子空间,但沿未对齐的方向读取。
  • 因果干预证明,加强由计数识别探针确定的方向可以提高计数性能。
  • 检测器引导的自校正方法仅在内部错误检测器预测失败时才选择性地向模型重新提示。

这种推理时的干预在不进行任何参数更新的情况下将计数准确率提高了多达15.6个绝对百分点,确立了基于激活的错误探测作为改进VLM的实用工具。