Seorang peneliti sedang melakukan studi untuk mengevaluasi batas memori model bahasa AI kecil (100M hingga 3B parameter) untuk tugas pengambilan dan rekonstruksi, dengan tujuan mengidentifikasi model yang cocok untuk laptop spesifikasi rendah. Studi ini secara khusus membandingkan tiga model Qwen2.5: 0.5B, 1.5B, dan 3B.
- Kinerja memori untuk pengambilan relatif serupa di ketiga ukuran model.
- Hasil memori untuk rekonstruksi menunjukkan tren tak terduga di mana model terbesar, Qwen2.5-3B, berkinerja paling buruk.
- Model 3B menunjukkan penurunan kinerja rekonstruksi yang jauh lebih curam seiring bertambahnya informasi masukan dibandingkan dengan model 1.5B dan 0.5B.
Penulis meminta umpan balik mengenai analisis tambahan atau pemeriksaan metodologis untuk memverifikasi apakah hasil yang kontra-intuitif ini objektif dan bukan kesalahan eksperimental.