IceFog72 implementou um sampler experimental "scatter" para o llama.cpp que suaviza localmente a distribuição de probabilidade do próximo token entre os principais candidatos. Esta abordagem visa reduzir a rigidez da geração sem introduzir ruído da cauda profunda da distribuição.
- O sampler usa um passo de difusão local sobre a classificação do token, permitindo que classificações próximas troquem massa de probabilidade enquanto preserva o conjunto de candidatos filtrados.
- Ele está posicionado na cadeia padrão de samplers entre "xtc" e "temperature", mas está desativado por padrão.
- Os recursos incluem força de dispersão fixa ou adaptativa baseada em feedback de entropia, absorção opcional de tokens repetidos e gateamento de colisão.
- A implementação inclui funções nativas da API e testes invariantes dentro do framework llama.cpp.
Esta ferramenta fornece uma alternativa mais localizada ao aumentar a temperatura, oferecendo controle mais fino sobre a diversidade da geração de texto enquanto evita saltos incoerentes causados por tokens fracos na cauda.