Peneliti menunjukkan bahwa informasi yang relevan dengan tugas dalam prompt instruksi dapat dikompresi menjadi satu vektor aktivitas dan disuntikkan kembali ke model bahasa besar, menggantikan urutan token asli. Hal ini dicapai menggunakan jumlah tertimbang dari aktivitas yang dipelajari yang diekstrak pada lapisan menengah dan disuntikkan pada lapisan awal.
- Vektor terkompresi mempertahankan informasi yang relevan dengan tugas dengan penurunan akurasi di bawah 2% dibandingkan dengan pemrosesan prompt penuh.
- Representasi lapisan menengah mentransfer makna secara bermakna ke lapisan awal, menunjukkan kompatibilitas lintas-lapisan dalam cara informasi dikodekan.
- Satu vektor aktivitas mengkodekan jumlah informasi semantik yang dapat diukur dan dipulihkan.
- Jumlah tertimbang dari aktivitas berfungsi sebagai kompresor representasi yang kuat.
Pendekatan ini mengurangi komputasi per kueri untuk prompt instruksi tetap tanpa memerlukan pemrosesan ulang urutan token asli.