Исследователи демонстрируют, что линейные зонды на остаточном потоке больших языковых моделей могут надежно обнаруживать «уверенно неверные» ответы в финансовых вопросах, превосходя по эффективности базовые показатели поведенческой уверенности. Исследование оценивает этот подход на бенчмарках FinQA и TAT-QA с использованием Qwen3-8B, Llama-3.1-8B и Gemma-2-9B.

  • Среди уверенных ответов, где восемь пересэмплированных выходов совпали, 15-23% были неверными на FinQA.
  • Зонды достигли AUROC в диапазоне 0.68-0.77 для обнаружения этих галлюцинаций, что значительно выше, чем AUROC базовых методов, таких как логарифмические вероятности токенов и самооценка (0.55-0.63).
  • Метод использует внутренние активации для выявления ошибок, которые не могут обнаружить метрики поведенческой уверенности.

Авторы предполагают, что зондирование предлагает экономически эффективный механизм триажа для маршрутизации ответов LLM на проверку человеком в критически важных финансовых приложениях.