La sonda de estados internos detecta alucinaciones confiables en QA financiero

Los investigadores demuestran que las sondas lineales en el flujo residual de modelos de lenguaje grandes pueden detectar de manera confiable respuestas "confiadamente incorrectas" en preguntas financieras, superando a las líneas base de confianza conductual. El estudio evalúa este enfoque en los benchmarks FinQA y TAT-QA utilizando Qwen3-8B, Llama-3.1-8B y Gemma-2-9B.

• Entre las respuestas confiables donde ocho salidas remuestreadas coincidieron, el 15-23% fueron incorrectas en FinQA.
• Las sondas lograron un AUROC de 0.68-0.77 para detectar estas alucinaciones, significativamente más alto que el AUROC de 0.55-0.63 de las líneas base como log-probabilidades de tokens y autoevaluación.
• El método aprovecha las activaciones internas para identificar errores que las métricas de confianza conductual no logran captar.

Los autores sugieren que la sonda ofrece un mecanismo de triaje rentable para enrutar respuestas de LLM a revisión humana en aplicaciones financieras de alto riesgo.