Proyek llama.cpp merilis build b11368, yang memperkenalkan sampling probabilistik untuk alur kerja draf sederhana dan MTP (Multi-Token Prediction). Pembaruan ini memodifikasi mekanisme drafting untuk menggunakan seleksi probabilistik sambil memverifikasi target melalui sampling penolakan.
- Drafter sekarang menggunakan sampling probabilistik, dengan verifikasi target ditangani oleh sampling penolakan.
- Buffer spec_draft_q yang usang dibuang sebelum proses drafting dimulai.
- Permintaan yang dibatasi tata bahasa sekarang mendukung sampling penolakan dan fallback ke sampling argmax.
- Flag baru mengaktifkan sampling draft probabilistik, dengan perilaku default greedy.
- Sampler draft tidak lagi berbagi aliran RNG target, dan distribusi dinormalisasi ulang setelah masking.
Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler di berbagai backend perangkat keras termasuk CUDA, ROCm, Vulkan, OpenVINO, dan SYCL.