O projeto llama.cpp lançou a versão b9910, que aborda uma inconsistência crítica entre o ajuste do modelo de rascunho e seu carregamento no componente do servidor. Esta atualização inclui uma correção para o problema de limitação da chamada de retorno de progresso durante o carregamento do modelo de rascunho e refatora a inicialização especulativa.

  • Unifica a inicialização de parâmetros de previsão de rascunho/múltiplos tokens, além do carregamento do modelo e do contexto.
  • Move a lógica de inicialização especulativa para speculative.cpp.
  • Altera server_context_impl model_dft e ctx_dft para usar ponteiros brutos.
  • Desativa o suporte ao KleidiAI Apple Silicon no macOS nesta versão.
  • Fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e openEuler.

Esta versão garante a operação estável do servidor ao utilizar a decodificação especulativa, corrigindo os mecanismos subjacentes de inicialização e carregamento.