Исследователи успешно разделили внутренние представления знаний о математической разрешимости и вербализации в больших языковых моделях, показав, что они закодированы как отдельные, линейно декодируемые векторы. Исследование показывает, что фабрикация модели в основном обусловлена изменениями в вербализации, а не лежащими в основе знаниями.
- Знание и вербализация идентифицированы как отдельные латентные направления в скрытых состояниях модели для нескольких LLM.
- Фабрикация коррелирует со сдвигами в представлениях вербализации, а не с базовыми знаниями о разрешимости.
- Промптинг с сигналами неразрешимости снижает фабрикацию за счет смещения направления вербализации.
- Управление активацией может механически манипулировать этими представлениями для улучшения воздержания модели.
Эта работа позволяет независимый анализ и манипуляцию убеждениями о разрешимости, обеспечивая более эффективный контроль над тем, когда модели следует воздерживаться от ответа.