研究人员提出了一种统一的框架，用于诊断视觉语言模型失败的原因，区分视觉识别瓶颈和知识检索缺陷。该研究调查了预生成信号是否能在各种数据集和模型族中预测这些特定的失败来源。
- 由视觉或识别瓶颈引起的失败最好通过视觉标记表示来捕捉。
- 实体识别后持续存在的错误更好地由提示条件隐藏状态预测。
- 这些预生成信号使得在模型生成答案之前就能高效地预测失败来源。
- 不确定的情况可以路由到针对性的干预措施，如图像修复、实体识别支持或外部检索。
这种方法允许对 VLMs 中的不确定性进行更精确的诊断，从而实现特定的纠正措施，而不是将错误答案视为单一的失败。