Пользователь протестировал статью Anthropic о Глобальном рабочем пространстве / Якобиановой линзе на нескольких моделях с открытым исходным кодом, включая Gemma 4 и варианты Qwen, чтобы оценить её полезность для обнаружения уверенных галлюцинаций при локальном выводе.
- Исследование проанализировало траектории рабочего пространства в моделях Gemma E4B, 12B, 12B abliterated, 26B MoE и Qwen 3.6 27B с использованием 500 вопросов TriviaQA для каждой модели.
- В моделях Gemma чистые рабочие пространства коррелировали с правильностью на 77%, тогда как зашумлённые снижались до 42%, при этом признаки рабочего пространства превосходили только уверенность вывода.
- Маршрутизатор логистической регрессии, обученный на признаках траектории рабочего пространства, достиг высоких показателей AUC для предсказания неправильных ответов, особенно в моделях Gemma E4B (0.787 в совокупности) и 12B (0.843 в совокупности).
- Подход не сработал на Qwen 27B, где уверенность вывода уже была хорошо калибрована, а признаки рабочего пространства не давали дополнительной пользы.
- Модели abliterated показали повышенные частоты выдумывания несуществующих сущностей по сравнению с базовыми моделями, что указывает на потерю сигналов «не знаю».
Результаты указывают на то, что признаки траектории рабочего пространства через Якобианову линзу могут служить эффективным однопроходным сигналом риска для маршрутизации от локальных устройств к облаку, когда уверенность вывода некалибрована.