Microsoft Research telah memperkenalkan EvoLib, sebuah kerangka kerja yang memungkinkan model bahasa besar belajar dari pengalaman mereka sendiri selama inferensi tanpa memerlukan label kebenaran dasar atau umpan balik eksternal. Daripada menyimpan pengalaman mentah sebagai memori statis, EvoLib mengubahnya menjadi keterampilan yang dapat digunakan kembali dan wawasan reflektif yang terus disempurnakan, dikonsolidasikan, dan diberi bobot ulang.
- Konsolidasi menggabungkan pengetahuan baru dengan entri serupa yang sudah ada untuk menciptakan unit yang lebih umum dan dapat digunakan kembali.
- Mekanisme pembobotan dinamis memperbarui pentingnya setiap unit pengetahuan berdasarkan utilitas langsungnya dan dampak jangka panjang pada tugas-tugas di masa depan.
- Sistem ini beroperasi sebagai solusi kotak hitam yang berlaku untuk model bahasa apa pun yang diimplementasikan melalui API tanpa memerlukan pembaruan model.
EvoLib secara konsisten mengungguli pendekatan memori berbasis pengambilan teratas dalam penalaran matematika, generasi kode, dan tugas pengambilan keputusan jangka panjang. Ini mengubah komputasi saat pengujian menjadi peningkatan kinerja lebih efisien daripada metode yang ada dan mempertahankan kinerja stabil terlepas dari urutan di mana tugas-tugas heterogen ditemui.