IceFog72 ha implementado un sampler experimental "scatter" para llama.cpp que suaviza localmente la distribución de probabilidad del siguiente token entre los candidatos principales. Este enfoque busca reducir la rigidez en la generación sin introducir ruido desde la cola profunda de la distribución.
- El sampler utiliza un paso de difusión local sobre el rango de tokens, permitiendo que los rangos cercanos intercambien masa de probabilidad mientras se preserva el conjunto de candidatos filtrados.
- Se posiciona en la cadena de samplers predeterminada entre "xtc" y "temperature", pero está desactivado por defecto.
- Las características incluyen fuerza de dispersión fija o adaptativa basada en retroalimentación de entropía, absorción opcional de tokens repetidos y gestión de colisiones.
- La implementación incluye funciones nativas de API y pruebas invariantes dentro del marco de llama.cpp.
Esta herramienta ofrece una alternativa más localizada a elevar la temperatura, proporcionando un control más fino sobre la diversidad de la generación de texto mientras se evitan saltos incoherentes causados por tokens débiles en la cola.