IceFog72 telah mengimplementasikan sampler "scatter" eksperimental untuk llama.cpp yang menghaluskan distribusi probabilitas token berikutnya secara lokal di antara kandidat teratas. Pendekatan ini bertujuan mengurangi kekakuan generasi tanpa memperkenalkan noise dari ekor dalam distribusi.
- Sampler ini menggunakan langkah difusi lokal atas peringkat token, memungkinkan peringkat terdekat bertukar massa probabilitas sambil mempertahankan set kandidat yang difilter.
- Sampler ini diposisikan dalam rantai sampler default di antara "xtc" dan "temperature", tetapi dinonaktifkan secara default.
- Fitur termasuk kekuatan penyebaran tetap atau adaptif berdasarkan umpan balik entropi, penyerapan token berulang opsional, dan gerbang tabrakan.
- Implementasi ini mencakup fungsi API asli dan uji invarian dalam kerangka kerja llama.cpp.
Alat ini menyediakan alternatif yang lebih terlokalisasi daripada menaikkan suhu, menawarkan kontrol yang lebih halus atas keragaman generasi teks sambil menghindari lompatan tidak koheren yang disebabkan oleh token ekor yang lemah.