github llama.cpp · há 1 h · inference

llama.cpp b10635 desbloqueia mmq para MoE em sm_60

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10635, que inclui atualizações específicas de suporte ao CUDA. A principal alteração é o desbloqueio da multiplicação de matriz de precisão mista (mmq) para arquiteturas Mixture of Experts (MoE) em GPUs com capacidade de computação 6.0 (sm_60).

CUDA: mmq desbloqueado para MoE em sm_60.
CUDA: mmq-config-pascal duplicado para dp4a e arquiteturas mais antigas.
CUDA: Redução da ocupação em GPUs Pascal sem dp4a para formatos de quantização Q2_K, Q4_K, Q5_K e Q6_K.

Esta versão fornece binários para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android e openEuler.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10636 desativa a compilação da UI npm por padrão e limpa o CI

O projeto llama.cpp lançou a versão b10636, que altera o comportamento padrão ao compilar a interface web. A compilação da UI baseada em npm agora está desativada por padrão (LLAMA_BUILD_UI=OFF), com a UI sendo incorporada a partir de fontes locais ou downloads pré-compilados.

github llama.cpp · há 2 d · 11 visualizações

llama.cpp b10636 desativa a compilação da UI npm por padrão e limpa o CI

llama.cpp b10604 adiciona suporte ao formato DSV4 do Deepseek 4 e binários para macOS/iOS

llama.cpp b10598 usa algoritmo de redimensionamento pillow-accurate e corrige resize_algo para todos os modelos

llama.cpp b10593 corrige rollback do DeepseekV4 e carregamento de modelo

llama.cpp b10584 corrige o dimensionamento do contexto de rascunho para evitar erros 500 do servidor