Un usuario ha lanzado un fork de llama.cpp que incluye un muestreador experimental de detección de bucles diseñado para identificar y romper ciclos repetitivos de tokens durante la inferencia. Este nuevo muestreador componible monitorea el flujo de tokens generados en tiempo real, detecta patrones exactos que se repiten y aumenta temporalmente la temperatura de muestreo para interrumpir el bucle.
- El muestreador utiliza parámetros como last_n (por defecto 64), min_pattern_len (por defecto 3) y min_reps (por defecto 3) para definir la sensibilidad de detección.
- Cuando se detecta un bucle, aplica un multiplicador de temperatura (temp_factor) para aumentar la aleatoriedad y sacar al modelo del ciclo.
- La configuración está disponible a través de banderas CLI, API JSON para llama-server o programáticamente a través de la cadena de muestreadores de C API.
- La implementación permite ajustar el equilibrio entre detectar bucles temprano y evitar falsos positivos en frases repetidas legítimas.