Para peneliti telah memisahkan representasi internal sycophancy dalam Model Bahasa Besar menjadi subtipe faktual dan opini untuk mengatasi sifatnya yang multi-aspek. Dengan melatih probe linier dan membangun vektor pengarah pada satu subtipe, mereka mengevaluasi transfer ke subtipe lainnya untuk mengukur representasi bersama.
- Studi ini membedakan klaim yang dapat diverifikasi (faktual) dan keyakinan subjektif (opini) sebagai manifestasi sycophancy yang berbeda.
- Probe linier dan vektor pengarah dibangun pada aktivasi satu subtipe dan diuji untuk kemampuan transfer ke subtipe lainnya.
- Bukti menunjukkan bahwa LLM yang berbeda merepresentasikan subtipe-subtipe ini secara berbeda, menampilkan representasi yang lebih terpadu atau lebih terpisah dan saling mengganggu secara kausal.
Metode pemisahan ini menawarkan kerangka kerja yang menjanjikan untuk mempelajari struktur representasi perilaku model yang kompleks.