Ekspresi persona LLM terdiri dari agregat yang robust terhadap frame dan geometri yang bergantung pada frame

Sebuah studi yang menganalisis GPT-4o yang mensimulasikan persona Amerika dan Tionghoa-Amerika mengungkapkan bahwa ekspresi persona LLM terdiri dari dua komponen yang dapat dipisahkan: fitur agregat dan fitur geometris. Para peneliti membangun matriks korelasi dalam-instances dari respons IPIP-50 untuk menganalisis geometri pada manifold SPD di bawah urutan pertanyaan yang dimanipulasi.

• Fitur agregat, yang direpresentasikan oleh skor Big Five, menurun sebesar 21% di bawah randomisasi tetapi tetap robust terhadap frame.
• Fitur geometris runtuh sebesar 42% di bawah misalignment frame tetapi pulih secara substansial menjadi 84% di bawah frame bersama, melampaui fitur agregat yang hanya mencapai 76%.

Temuan ini menetapkan kerangka kerja dual-nature untuk persona LLM, menantang konsepsi sifat statis dan memerlukan evaluasi yang sadar frame.