O projeto llama.cpp lançou a versão b10312, que inclui uma atualização específica para o componente do servidor. A principal alteração aborda um problema em que modelos ocupados estavam sendo removidos do roteador.

  • Servidor: Impede a remoção de modelos ocupados (PR #26567).
  • macOS/iOS: Fornece binários para Apple Silicon (arm64) e Intel (x64), além de um XCFramework para iOS. O suporte ao KleidiAI no macOS está desativado.
  • Linux: Oferece compilações para CPUs Ubuntu x64, arm64 e s390x, bem como variantes Vulkan, ROCm 7.2, OpenVINO, SYCL FP32 e SYCL FP16.
  • Android: Inclui uma compilação de CPU arm64.
  • Windows: Suporta CPUs x64 e arm64, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL e HIP.
  • openEuler: Estão disponíveis compilações para x86 (310p, 910b ACL Graph) e aarch64 (310p, 910b ACL Graph), enquanto o pull request padrão está desativado.

Este lançamento garante a disponibilidade contínua de modelos ativos em implantações do servidor e fornece binários abrangentes para os principais sistemas operacionais e aceleradores de hardware.