Uma pesquisa com cinco modelos ajustados por instrução de três famílias (de 2B a 14B) identifica dois eixos distintos para a abstenção de LLM: a correção da resposta e a capacidade de responder à pergunta. O estudo descobre que a confiança ordinária na resposta rastreia se uma resposta está correta, mas permanece quase cega quanto à capacidade de responder a uma pergunta, enquanto uma sonda linear nos estados ocultos detecta a não-responsividade.

  • Em perguntas com premissas falsas (CREPE), as métricas padrão permanecem próximas do acaso, enquanto a sonda de estados ocultos atinge 0.69 a 0.77 AUROC.
  • Instruir os modelos a verificar premissas tem efeito contrário com 57% de desafios falsos, mas rotear instruções via sonda triplica a precisão do desafio.
  • Uma política calibrada que certifica tanto a capacidade de resposta quanto a correção com cobertura de 0.75 alcança uma cobertura de resposta correta de 0.31, em comparação com a falha de um único limiar.

Esta abordagem permite que a taxa de respostas para perguntas não respondíveis seja controlável em todas as escalas, enquanto limita a taxa de respostas erradas pela precisão do modelo.