llama.cpp 프로젝트는 단순 드래프트 및 MTP(Multi-Token Prediction) 워크플로우를 위한 확률적 샘플링을 도입한 빌드 b11368을 출시했습니다. 이 업데이트는 거부 샘플링을 통해 대상을 검증하면서 확률적 선택을 사용하도록 드래프팅 메커니즘을 수정합니다.
- 드래프터는 이제 확률적 샘플링을 사용하며, 대상 검증은 거부 샘플링으로 처리됩니다.
- 드래프팅 프로세스 시작 전에 오래된 spec_draft_q 버퍼가 삭제됩니다.
- 문법 제약 요청은 이제 거부 샘플링과 argmax 샘플링으로의 폴백을 지원합니다.
- 새로운 플래그는 확률적 드래프트 샘플링을 활성화하며, 기본값은 greedy 동작입니다.
- 드래프트 샘플러는 더 이상 대상의 RNG 스트림을 공유하지 않으며, 마스킹 후 분포가 재정규화됩니다.
이 릴리스는 CUDA, ROCm, Vulkan, OpenVINO 및 SYCL을 포함한 다양한 하드웨어 백엔드에 대해 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.