IceFog72 реализовал экспериментальный семплер "scatter" для llama.cpp, который локально сглаживает распределение вероятностей следующего токена среди лучших кандидатов. Этот подход направлен на снижение жёсткости генерации без добавления шума из глубокого хвоста распределения.

  • Семплер использует шаг локальной диффузии по рангу токена, позволяя близким рангам обмениваться вероятностной массой при сохранении отфильтрованного набора кандидатов.
  • Он встроен в цепочку семплеров по умолчанию между "xtc" и "temperature", но по умолчанию отключён.
  • Функции включают фиксированную или адаптивную силу рассеивания на основе обратной связи по энтропии, опциональное поглощение повторяющихся токенов и управление коллизиями.
  • Реализация включает нативные функции API и инвариантные тесты в рамках фреймворка llama.cpp.

Этот инструмент предоставляет более локализованную альтернативу повышению температуры, обеспечивая тонкий контроль над разнообразием генерируемого текста и избегая невязных скачков, вызванных слабыми токенами хвоста.