Проект llama.cpp выпустил версию b9927, которая включает значительное обновление командной строки путем перевода ее на HTTP-реализацию. Это изменение вводит поддержку режима маршрутизации внутри CLI.

  • CLI теперь использует бэкенд на основе HTTP вместо предыдущих методов.
  • В новой реализации CLI поддерживается режим маршрутизации.
  • Псевдонимы моделей теперь отображаются в интерфейсе.
  • Предварительно собранные двоичные файлы доступны для macOS (Apple Silicon и Intel), Linux, Android, Windows и openEuler.
  • Варианты ускорения GPU включают CUDA 12/13, Vulkan, ROCm, OpenCL, SYCL и OpenVINO на поддерживаемых платформах.

Этот релиз предоставляет обновленные двоичные файлы для различных операционных систем и аппаратных конфигураций, наряду с архитектурным сдвигом в инструментах CLI.