Le projet llama.cpp a publié la compilation b11368, qui introduit l'échantillonnage probabiliste pour les flux de travail de brouillon simple et MTP (Multi-Token Prediction). Cette mise à jour modifie le mécanisme de brouillon pour utiliser une sélection probabiliste tout en vérifiant les cibles par échantillonnage par rejet.

  • Le générateur de brouillons utilise désormais l'échantillonnage probabiliste, la vérification des cibles étant gérée par échantillonnage par rejet.
  • Les tampons spec_draft_q obsolètes sont supprimés avant le début du processus de brouillon.
  • Les requêtes contraintes par la grammaire prennent désormais en charge l'échantillonnage par rejet et le retour à l'échantillonnage argmax.
  • Un nouveau drapeau active l'échantillonnage probabiliste des brouillons, avec un comportement greedy par défaut.
  • Le sampler de brouillons ne partage plus le flux RNG de la cible, et les distributions sont renormalisées après le masquage.

Cette version fournit des binaires pour macOS, Linux, Windows, Android et openEuler via divers backends matériels incluant CUDA, ROCm, Vulkan, OpenVINO et SYCL.