Benchmark SRRM mengungkap Qwen2.5-1.5B unggul dari 3B dalam memori konteks panjang

Seorang peneliti mencari persetujuan arXiv cs.CL untuk sebuah makalah yang memperkenalkan Simple Retrieval-Reconstruction Memory (SRRM), sebuah benchmark ringan yang dirancang untuk mengevaluasi memori konteks panjang pada Small Language Models.

Berbeda dengan benchmark yang berorientasi pada pengambilan informasi yang ada, SRRM secara bersama-sama mengevaluasi pengambilan terarah, rekonstruksi informasi global, dan metrik baru yang disebut Memory Preservation Ratio (MPR). Para penulis menguji keluarga model Qwen2.5 (0.5B, 1.5B, dan 3B) di bawah beban konteks berupa 10–100 pernyataan faktual.

Hasilnya menunjukkan bahwa model Qwen2.5-1.5B secara konsisten unggul dari model 3B yang lebih besar dalam akurasi pengambilan, kinerja rekonstruksi, dan MPR, yang mengindikasikan bahwa jumlah parameter saja tidak selalu meningkatkan pelestarian memori konteks panjang.