Проект llama.cpp выпустил сборку b11368, которая вводит вероятностную выборку для рабочих процессов простого черновика и MTP (Multi-Token Prediction). Это обновление изменяет механизм черновика, чтобы использовать вероятностный отбор при проверке целей через отклоняющую выборку.
- Черновик теперь использует вероятностную выборку, а проверка целей осуществляется с помощью отклоняющей выборки.
- Устаревшие буферы spec_draft_q удаляются перед началом процесса черновика.
- Запросы с грамматическими ограничениями теперь поддерживают отклоняющую выборку и переход к выбору argmax.
- Новый флаг включает вероятностную выборку черновика, по умолчанию работает в жадном режиме.
- Сэмплер черновика больше не разделяет поток RNG цели, а распределения перенормируются после маскирования.
Этот релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для различных аппаратных бэкендов, включая CUDA, ROCm, Vulkan, OpenVINO и SYCL.