O projeto llama.cpp lançou a versão b9927, que inclui uma atualização significativa na interface de linha de comando ao movê-la para uma implementação baseada em HTTP. Essa mudança introduz suporte ao modo de roteador dentro da CLI.

  • A CLI agora utiliza um backend baseado em HTTP em vez dos métodos anteriores.
  • O modo de roteador é suportado na nova implementação da CLI.
  • Os aliases de modelos agora são exibidos na interface.
  • Binários pré-compilados estão disponíveis para macOS (Apple Silicon e Intel), Linux, Android, Windows e openEuler.
  • As opções de aceleração de GPU incluem CUDA 12/13, Vulkan, ROCm, OpenCL, SYCL e OpenVINO nas plataformas suportadas.

Este lançamento fornece binários atualizados para vários sistemas operacionais e configurações de hardware, juntamente com a mudança arquitetural na ferramenta CLI.