한 사용자가 추론 중 반복 토큰 사이클을 식별하고 끊기 위해 설계된 실험적인 루프 감지 샘플러를 탑재한 llama.cpp의 포크를 출시했습니다. 이 새로운 조합형 샘플러는 생성된 토큰 스트림을 실시간으로 모니터링하고 정확한 반복 패턴을 감지하며, 루프를 끊기 위해 일시적으로 샘플링 온도를 높입니다.
- 샘플러는 감도 민감도를 정의하기 위해 last_n(기본값 64), min_pattern_len(기본값 3), min_reps(기본값 3) 등의 매개변수를 사용합니다.
- 루프가 감지되면 무작위성을 높이기 위해 온도 승수(temp_factor)를 적용하여 모델이 사이클에서 벗어나도록 합니다.
- 구성은 CLI 플래그, llama-server용 JSON API 또는 C API 샘플러 체인을 통해 프로그래밍 방식으로 사용할 수 있습니다.
- 이 구현은 루프를 조기에 감지하고 정당한 반복 구문에서의 거짓 양성을 피하는 것 사이의 균형을 맞추기 위해 튜닝할 수 있게 합니다.