Исследование четырех польских моделей Bielik (от 1.5B до 11B параметров) демонстрирует, что меры несупервизорной дисперсии активаций могут с высокой точностью различать известные сущности от вымышленных еще до генерации любого токена ответа.

  • Обратная величина участия и спектральная энтропия по пост-SwiGLU MLP активациям разделяют известные и вымышленные сущности при AUROC 0.95-1.00 во всех доменах и масштабах.
  • Сигнал переносится между типами сущностей, устойчив к отбору скрытых слоев и сохраняется для реальных имен с AUROC 0.96-1.00.
  • Хотя репрезентативный сигнал достигает потолка производительности при 1.5B параметров, поведенческая фактическая достоверность резко масштабируется: количество правильных ответов увеличивается с 0 до 19 из 42 по мере роста размера модели.
  • Несмотря на это внутреннее осознание, модели почти никогда не отказываются от ответа; аудит выявил лишь два отказа и одно оговорку среди 2,520 ответов.

Выводы указывают на то, что знакомость сущностей и фактическая достоверность являются различными явлениями, протекающими по разным кривым масштабирования, что ставит под сомнение предположение о прямой корреляции между внутренними сигналами активации и поведенческой правильностью.