Исследование четырёх моделей Bielik (от 1,5 до 11 млрд параметров) демонстрирует, что ненадзорные меры дисперсии активаций могут различать известные сущности от вымышленных ещё до генерации любого токена ответа. Используя обратную долю участия и спектральную энтропию на активациях MLP после SwiGLU, исследователи достигли показателей AUROC в диапазоне 0,95–1,00 для доменов спортсменов, городов, писателей и музыкантов.
- Сигнал разделяет известные и вымышленные сущности на уровне потолка производительности, сохраняясь при отложенном выборе слоёв и переносясь между типами сущностей со средним внедиагональным AUROC 0,92–0,99.
- Хотя репрезентативный сигнал узнаваемости достигает потолка уже при 1,5 млрд параметров, поведенческая фактическая достоверность масштабируется резко: количество правильных ответов растёт с 0 до 19 по мере увеличения размера модели.
- Разделение правильных ответов от галлюцинаций внутри известных сущностей остаётся сложной задачей; дисперсия не превосходит базовый уровень на основе энтропии первого токена.
- Несмотря на внутреннее осознание узнаваемости сущностей, модели почти никогда не отказываются отвечать; аудит выявил лишь два отказа и одно оговорочное высказывание среди 2520 ответов.
Полученные результаты указывают на то, что узнаваемость сущностей и фактическая достоверность являются различными явлениями, подчиняющимися разным кривым масштабирования, что предполагает: одних внутренних сигналов активаций может быть недостаточно для предотвращения галлюцинаций без дополнительных механизмов.