github llama.cpp · há 1 h · inference

llama.cpp b10636 desativa a compilação da UI npm por padrão e limpa o CI

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10636, que altera o comportamento padrão ao compilar a interface web. A compilação da UI baseada em npm agora está desativada por padrão (LLAMA_BUILD_UI=OFF), com a UI sendo incorporada a partir de fontes locais ou downloads pré-compilados.

Os jobs do CI não compilam mais a UI via npm; a sanitização do servidor não requer mais Node.js.
O artefato ui-build foi renomeado para llama-ui.zip e reutilizado nos jobs de release.
As compilações do macOS Apple Silicon com KleidiAI estão desativadas.
O suporte ao Windows arm64 CUDA 13 está marcado como preview.

Este release fornece binários para macOS, Linux, Windows, Android e openEuler em vários backends de hardware, incluindo CPU, Vulkan, ROCm, OpenVINO, SYCL e CUDA.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10635 desbloqueia mmq para MoE em sm_60

O projeto llama.cpp lançou a versão b10635, que inclui atualizações específicas de suporte ao CUDA. A principal alteração é o desbloqueio da multiplicação de matriz de precisão mista (mmq) para arquiteturas Mixture of Experts (MoE) em GPUs com capacidade de computação 6.0 (sm_60).

github llama.cpp · há 2 d · 11 visualizações

llama.cpp b10635 desbloqueia mmq para MoE em sm_60

llama.cpp b10604 adiciona suporte ao formato DSV4 do Deepseek 4 e binários para macOS/iOS

llama.cpp b10598 usa algoritmo de redimensionamento pillow-accurate e corrige resize_algo para todos os modelos

llama.cpp b10593 corrige rollback do DeepseekV4 e carregamento de modelo

llama.cpp b10584 corrige o dimensionamento do contexto de rascunho para evitar erros 500 do servidor