Sonda de estados internos detecta alucinações confiantes em QA financeiro

Pesquisadores demonstram que sondas lineares no fluxo residual de grandes modelos de linguagem podem detectar confiavelmente respostas "confiantemente incorretas" em perguntas financeiras, superando as linhas de base de confiança comportamental. O estudo avalia essa abordagem nos benchmarks FinQA e TAT-QA usando Qwen3-8B, Llama-3.1-8B e Gemma-2-9B.

• Entre as respostas confiantes onde oito saídas remostradas concordaram, 15-23% estavam incorretas no FinQA.
• As sondas alcançaram um AUROC de 0.68-0.77 para detectar essas alucinações, significativamente maior que o AUROC de 0.55-0.63 das linhas de base como log-probabilidades de tokens e autoavaliação.
• O método aproveita ativações internas para identificar erros que as métricas de confiança comportamental falham em capturar.

Os autores sugerem que a sonda oferece um mecanismo de triagem economicamente viável para rotear respostas de LLM para revisão humana em aplicações financeiras de alto risco.