github llama.cpp · agora mesmo · inference

llama.cpp b10752 adiciona suporte de compilação metallib para xcframework

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10752, que introduz suporte de compilação metallib para o XCFramework do iOS. Esta atualização permite que os desenvolvedores integrem a biblioteca em aplicativos iOS usando o backend Metal.

Binários do macOS Apple Silicon (arm64) estão disponíveis.
Binários do macOS Intel (x64) são fornecidos.
As compilações do Ubuntu incluem variantes de CPU, Vulkan, ROCm 7.14, OpenVINO e SYCL.
As versões do Windows suportam CPU, Vulkan, OpenCL Adreno, CUDA 12/13, OpenVINO, SYCL e ROCm 7.14.
Binários do Android arm64 (CPU) estão incluídos.

O lançamento fornece binários pré-compilados para uma ampla gama de plataformas e aceleradores de hardware.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10751 funde a redução de especialistas ponderados do MoE para CUDA

O projeto llama.cpp lançou a compilação b10751, que introduz um kernel fundido para a redução de especialistas ponderados do MoE (Mixture of Experts) no CUDA. Essa otimização substitui a linha de base anterior, que executava dois kernels físicos, por um único kernel de redução ponderada para reduzir o tráfego de memória global intermediário.

github llama.cpp · há 4 h · 1 visualização

llama.cpp b10751 funde a redução de especialistas ponderados do MoE para CUDA

llama.cpp b10750 otimiza a consulta de n-gramas do cache KV para ganho de 4,9% na taxa de transferência

llama.cpp b10742 adiciona ajustes fa-vec para A18 Pro

llama.cpp b10738 adiciona limite de memória fixada ao host para SYCL

llama.cpp b10739 adiciona ajuste fa-vec para M2 Max