В исследовании анализируются активации на последнем токене промпта в двенадцати инструкционно-настроенных моделях семейств Bielik, PLLuM, Gemma-4 и Qwen3, чтобы определить, могут ли они оценивать знакомство с сущностью до генерации ответа. Используя набор данных из 1440 польских сущностей, исследователи обнаружили, что оценки зондов знакомства эффективно разделяют реальные и вымышленные сущности во всех семействах моделей.

  • Оценки зондов знакомства отслеживают популярность сущностей в польско-адаптированных моделях Bielik и PLLuM (Спирман ρ 0,28–0,57), причем эта закономерность менее выражена в Gemma-4 и Qwen3.
  • Зонды сохраняют 96–101% внутриязыковой AUROC при переключении основы вопроса с польского на английский, что демонстрирует устойчивость к языку промпта.
  • В модели Gemma-4-12B добавление одномерного направления знакомства на одном слое позволяет осуществлять монотонный контроль над частотой отказов как для известных, так и для неизвестных сущностей.
  • Калиброванные зонды знакомства конкурентоспособны в качестве механизмов воздержания до генерации, хотя детекторы ошибок после генерации лучше предсказывают поведенческие ошибки.

Результаты подтверждают существование градуированных показателей знакомства с сущностью до генерации и подчеркивают разделение между репрезентативным знакомством и политикой, преобразующей его в воздержание.