Peneliti menunjukkan bahwa informasi yang relevan dengan tugas dalam prompt instruksi dapat dikompresi menjadi satu vektor aktivasi dengan menggunakan penjumlahan tertimbang yang dipelajari dari aktivasi pada lapisan tengah, yang kemudian disuntikkan kembali ke lapisan awal LLM target.
- Metode ini menggantikan urutan token asli dengan vektor terkompresi, menyebabkan penurunan akurasi kurang dari 2% dibandingkan dengan pemrosesan prompt penuh.
- Analisis mengungkapkan bahwa representasi lapisan tengah mentransfer makna secara bermakna ke lapisan awal, menunjukkan kompatibilitas lintas-lapisan dalam pengodean informasi.
- Ditunjukkan bahwa satu vektor aktivasi mengkodekan jumlah informasi semantik yang dapat diukur dan dipulihkan.
- Pendekatan ini mengurangi komputasi per kueri untuk prompt instruksi tetap tanpa memerlukan pemrosesan ulang urutan token asli.