Peneliti memperkenalkan MemOps, sebuah benchmark yang merumuskan ulang memori percakapan sebagai urutan operasi siklus hidup daripada hanya mengandalkan akurasi jawaban akhir. Kerangka kerja ini merepresentasikan setiap peristiwa memori dengan jejak terstruktur yang menentukan pemicu, target, dan transisi keadaan untuk memisahkan penyebab kegagalan yang heterogen.
- MemOps menyematkan operasi seperti mengingat, melupakan, dan memperbarui ke dalam percakapan berorientasi tugas jangka panjang menggunakan pipeline generasi yang dapat dikontrol.
- Ini menghasilkan jejak operasi emas (gold) bersama enam kategori probe tingkat operasi yang dievaluasi di bawah pengaturan bukti bersebelahan dan konteks panjang.
- Benchmark ini mengungkapkan bahwa pengambilan tingkat sesi lebih unggul daripada pengambilan tingkat giliran dalam sistem saat ini.
- Model konteks panjang tetap secara signifikan lemah dalam merekonstruksi trajektori keadaan memori yang terurut.
Pendekatan ini menggeser evaluasi memori jangka panjang dari penilaian kotak hitam menuju diagnosis tingkat operasi yang dapat diinterpretasi untuk menilai keandalan dengan lebih baik.