Проект llama.cpp выпустил сборку b10649, которая внедряет новую функцию синтетического спекулятивного принятия. Это дополнение специально предназначено для целей бенчмаркинга и доступно как в компоненте llama-server, так и в llama-cli.
- Добавляет синтетическое спекулятивное принятие только для бенчмарков в llama-server и llama-cli.
- Включает бинарные файлы для macOS, iOS, Linux, Windows, Android и openEuler для CPU, GPU и различных ускорителей.
- Отключает поддержку KleidiAI на macOS Apple Silicon для этой сборки.
Этот релиз предоставляет обновленные бинарные файлы для широкого спектра платформ, добавляя специфический инструментарий для оценки производительности спекулятивного декодирования.