Pesquisas com cinco modelos ajustados por instrução de três famílias (de 2B a 14B) demonstram que a recusa do modelo envolve dois eixos distintos: a correção da resposta e a capacidade de responder à pergunta. O estudo encontra que pontuações padrão de confiança rastreiam a correção, mas são quase cegas quanto a se uma pergunta é realmente respondível, particularmente em perguntas com premissas falsas.

  • Uma sonda linear em estados ocultos pode detectar perguntas não respondíveis com 0.69 a 0.77 AUROC, enquanto métricas padrão como P(IK) e P(True) permanecem próximas do acaso.
  • Instruir modelos a verificar premissas tem o efeito oposto, fazendo com que contestem premissas válidas (57% de contestações falsas), enquanto rotear instruções via sonda triplica a precisão das contestações.
  • Uma política calibrada usando pontuações separadas de capacidade de resposta e correção certifica 0.75 de cobertura de respostas corretas no limiar 0.75, comparado a apenas 0.31 para um único limiar.

Esta abordagem permite que a taxa de não-resposta seja controlável em todas as escalas, enquanto limita a taxa de respostas erradas pela precisão do modelo, fornecendo uma garantia mais rigorosa do que métodos de limiar único.