Sebuah demonstrasi menunjukkan bahwa membekukan keadaan kunci-nilai (KV) dari teks panduan memungkinkan model Qwen2.5-3B-Instruct menerapkan instruksi baru tanpa memasukkan panduan ke dalam prompt langsung. Metode ini melibatkan menjalankan panduan melalui model sekali, membekukan cache KV-nya, dan kemudian menghasilkan respons di atas awalan tersembunyi tersebut.
- Dalam tes matematika dengan operator buatan, model yang dipandu KV menghitung hasil untuk angka yang belum terlihat dengan benar, sesuai dengan kinerja injeksi teks yang terlihat.
- Dalam tugas ekstraksi yang memerlukan daftar item, metode KV menghasilkan output yang benar dari token pertama di berbagai benih, sedangkan injeksi yang terlihat memerlukan drift signifikan dan upaya tanpa panduan gagal sepenuhnya.
- Pendekatan ini digambarkan sebagai awalan pra-kompilasi tersembunyi daripada mekanisme komputasi, menawarkan keunggulan kecepatan dibandingkan pengisian prompt yang terlihat.
Teknik ini memungkinkan transfer konsep dan mengikuti instruksi dalam model bahasa besar dengan memanfaatkan keadaan KV yang dibekukan alih-alih konteks teks eksplisit.