Um usuário lançou um fork do llama.cpp com um detector de loops experimental projetado para identificar e interromper ciclos repetitivos de tokens durante a inferência. Este novo sampler composável monitora o fluxo de tokens gerados em tempo real, detecta padrões exatos que se repetem e aumenta temporariamente a temperatura de amostragem para romper o loop.
- O sampler usa parâmetros como last_n (padrão 64), min_pattern_len (padrão 3) e min_reps (padrão 3) para definir a sensibilidade da detecção.
- Quando um loop é detectado, ele aplica um multiplicador de temperatura (temp_factor) para aumentar a aleatoriedade e tirar o modelo do ciclo.
- A configuração está disponível via flags CLI, API JSON para llama-server ou programaticamente através da cadeia de samplers da C API.
- A implementação permite ajuste para equilibrar entre capturar loops cedo e evitar falsos positivos em frases repetidas legítimas.