O projeto llama.cpp lançou a versão b9940, introduzindo uma inicialização para o parâmetro `params.offline` no `llama-bench`. Esta atualização é acompanhada por um conjunto abrangente de binários pré-compilados para vários sistemas operacionais e aceleradores de hardware.

  • Estão disponíveis builds para macOS Apple Silicon (arm64) e Intel (x64), com o suporte do KleidiAI desabilitado.
  • Os binários para Linux cobrem Ubuntu x64 e arm64 CPU, Vulkan, ROCm 7.2, OpenVINO e SYCL FP32/FP16.
  • As versões para Windows incluem variantes para CPU, OpenCL Adreno, CUDA 12.4/13.3, Vulkan, OpenVINO, SYCL e HIP.
  • São fornecidos binários Android arm64 (CPU) e iOS XCFramework para implantação móvel.
  • Estão incluídas builds do openEuler para as arquiteturas x86 e aarch64 com suporte ao ACL Graph.

O lançamento fornece ferramentas atualizadas para benchmarking de parâmetros offline, juntamente com ampla compatibilidade multiplataforma para inferência local de modelos.