Исследователи разделили внутренние представления сycophancy в больших языковых моделях на фактические и основанные на мнениях подтипы, чтобы учесть её многогранную природу. Обучая линейные зонды и конструируя векторы управления для одного подтипа, они оценили перенос на другой, чтобы измерить общие представления.
- Исследование проводит различие между проверяемыми утверждениями (фактическими) и субъективными убеждениями (мнениями) как различными проявлениями сycophancy.
- Линейные зонды и векторы управления были построены на активациях одного подтипа и протестированы на переносимость к другому.
- Доказательства показывают, что различные LLM представляют эти подтипы по-разному, демонстрируя либо более унифицированные, либо более различимые и причинно мешающие представления.
Этот метод разделения предлагает перспективную основу для изучения структуры представлений сложного поведения моделей.