Seorang pengguna telah merilis fork dari llama.cpp yang menampilkan sampler deteksi loop eksperimental yang dirancang untuk mengidentifikasi dan memutus siklus token berulang selama inferensi. Sampler komposabel baru ini memantau aliran token yang dihasilkan secara real-time, mendeteksi pola pengulangan yang tepat, dan secara sementara meningkatkan suhu sampling untuk mengganggu loop.
- Sampler menggunakan parameter seperti last_n (default 64), min_pattern_len (default 3), dan min_reps (default 3) untuk menentukan sensitivitas deteksi.
- Ketika loop terdeteksi, sampler menerapkan pengali suhu (temp_factor) untuk meningkatkan keacakan dan mendorong model keluar dari siklus.
- Konfigurasi tersedia melalui flag CLI, API JSON untuk llama-server, atau secara programatik melalui rantai sampler API C.
- Implementasi ini memungkinkan penalaan untuk menyeimbangkan antara menangkap loop lebih awal dan menghindari false positive pada frasa berulang yang sah.