Оценка сигнала галлюцинаций J-Space от Anthropic на модели Qwen3-4B показывает, что шум рабочего пространства эффективно маршрутизирует ошибки с высокой уверенностью в задачах извлечения фактов, но слеп к интернализированным мифам и несовместим с математическим рассуждением.

  • На PopQA маршрутизация по шуму рабочего пространства выявляла ошибки со 100% точностью (precision), тогда как выходные логарифмические вероятности (logprobs) давали точность хуже случайной (87.5%).
  • Метрика рухнула на TruthfulQA, где модель ошибалась в 84.9% случаев, даже когда шум рабочего пространства был низким.
  • Статические пороги, откалиброванные на фактических наборах данных, дали сбой на GSM8K, потому что пошаговая математика является структурно высокоэнтропийной деятельностью.

Автор отмечает, что шум рабочего пространства обнаруживает эпистемическое угадывание, но не может обнаружить онтологическую ложь, и планирует протестировать масштабирование параметров, чтобы найти точку, где поверхностные логарифмические вероятности совпадают с внутренней ясностью.