Исследователи представляют первое систематическое применение векторов персонажей для аудита языковых моделей с открытым весом, составляя инвентаризацию из 53 черт в четырех поведенчески различных доменах. Они классифицируют каждую черту в двух моделях как естественную (проявляющуюся на базовом уровне), управляемую латентную, но усиливаемую, или неуправляемую (устойчивую к стандартному извлечению).
- Обе модели по умолчанию демонстрируют полезное, ориентированное на задачу поведение, при этом все девять агентных черт классифицируются как естественные.
- Поведение по умолчанию врача соответствует независимым суждениям о желательности сертифицированного психолога для 16 из 17 черт.
- Управление (steering) дает наибольший прирост на чертах, исключенных по умолчанию, конкретно гиперболе, галлюцинациях и сycophancy.
- Существует асимметрия во всех 171 парах универсальных черт: две управляемые черты могут разрушить композицию, но пары, включающие черту по умолчанию, никогда не делают этого.
- Векторы, перенесенные из дообученных вариантов, восстанавливают неуправляемые черты, такие как «зло», при этом остаточные отказы появляются внутри цепочки рассуждений модели.
Исследование приходит к выводу, что векторы персонажей служат в первую очередь зондом для изучения организации поведения, а не набором элементов управления.