IceFog72은 상위 후보 간 다음 토큰 확률 분포를 국소적으로 부드럽게 하는 llama.cpp용 실험적 "scatter" 샘플러를 구현했습니다. 이 접근 방식은 분포의 깊은 꼬리 부분에서 노이즈를 도입하지 않고 생성의 경직성을 줄이는 것을 목표로 합니다.
- 샘플러는 토큰 순위 상의 국소 확산 단계를 사용하며, 필터링된 후보 집합을 유지하면서 인접한 순위 간에 확률 질량을 교환합니다.
- 기본 샘플러 체인에서 "xtc"와 "temperature" 사이에 위치하지만 기본적으로 비활성화되어 있습니다.
- 기능에는 엔트로피 피드백 기반의 고정 또는 적응형 산란 강도, 선택적 반복 토큰 흡수 및 충돌 게이트가 포함됩니다.
- 구현에는 llama.cpp 프레임워크 내의 네이티브 API 함수와 불변 테스트가 포함되어 있습니다.
이 도구는 온도를 높이는 것보다 국소적인 대안을 제공하며, 약한 꼬리 토큰으로 인한 비일관된 점프를 피하면서 텍스트 생성 다양성에 대한 더 세밀한 제어를 제공합니다.