El proyecto llama.cpp lanzó la compilación b11368, que introduce muestreo probabilístico para flujos de trabajo de borrador simple y MTP (Multi-Token Prediction). Esta actualización modifica el mecanismo de borrado para usar selección probabilística mientras verifica los objetivos mediante muestreo por rechazo.

  • El generador de borradores ahora utiliza muestreo probabilístico, con la verificación de objetivos manejada por muestreo por rechazo.
  • Los búferes spec_draft_q obsoletos se eliminan antes de que comience el proceso de borrado.
  • Las solicitudes restringidas por gramática ahora admiten muestreo por rechazo y retroceso a muestreo argmax.
  • Una nueva bandera habilita el muestreo probabilístico del borrador, con comportamiento predeterminado greedy.
  • El muestreador de borradores ya no comparte el flujo RNG del objetivo, y las distribuciones se renormalizan después del enmascaramiento.

Esta versión proporciona binarios para macOS, Linux, Windows, Android y openEuler a través de varios backends de hardware que incluyen CUDA, ROCm, Vulkan, OpenVINO y SYCL.