github llama.cpp · agora mesmo · inference

llama.cpp b10541 adiciona o argumento --mmproj-device para projetos multimodais

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10541, introduzindo o argumento de linha de comando `--mmproj-device` para permitir que os usuários especifiquem o backend do dispositivo para carregar arquivos de projeção multimodal.

O novo argumento é suportado por uma variável de ambiente `MTMD_BACKEND_DEVICE` compatível com versões anteriores.
Um sinalizador curto `-mmdev` também está disponível para acesso rápido a essa funcionalidade.
A versão inclui binários para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x com CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14), Android e openEuler.
Um binário de UI atualizado também é fornecido nesta versão.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Ler original

llama.cpp b10532 adiciona desquantização de KV do Metal para Flash Attention

O projeto llama.cpp lançou a versão b10532, introduzindo uma etapa de pré-processamento no backend do Metal que desquantiza os caches de Chave-Valor (KV) quantizados para F16 antes de executar o Flash Attention.

github llama.cpp · há 10 h · 2 visualizações

llama.cpp b10517 adiciona otimizações de desquantização FA para Vulkan e correções

O projeto llama.cpp lançou a compilação b10517, introduzindo várias melhorias específicas para Vulkan no caminho de desquantização do flash attention (FA). As principais alterações incluem desquantizar q8_0 KV uma vez em coopmat1, pular o caminho de desquantização FA no coopmat2 e excluir Intel Xe1 do caminho de desquantização FA.

github llama.cpp · há 20 d · 35 visualizações

llama.cpp b10208 adiciona flash attention GEMM oneMKL para processamento de prompt acelerado por XMX

A versão b10208 do llama.cpp introduz suporte SYCL para flash attention GEMM oneMKL, permitindo aceleração por hardware XMX no processamento de prompts. Essa alteração melhora significativamente a velocidade de inferência em GPUs Intel Arc ao utilizar kernels MKL em vez do caminho TILE padrão.

github llama.cpp · há 29 d · 26 visualizações

llama.cpp b10089 adiciona suporte completo a k-quant e i-quant para CUDA GET_ROWS

O lançamento llama.cpp b10089 estende as operações CUDA GET_ROWS para suportar formatos de quantização k-quants, i-quants e mxfp4. Esta alteração garante que todos os tipos GGML quantizados agora podem seguir o caminho direto do dispositivo para buscas de embedding.

github llama.cpp · há 1 h · 1 visualização Ao vivo

llama.cpp b10545 corrige leituras fora dos limites no matmul do Metal para K não múltiplo de 32

O projeto llama.cpp lançou a compilação b10545, que aborda um bug crítico no kernel de multiplicação de matrizes da API de tensores do backend Metal. A atualização previne comportamento indefinido e resultados corrompidos ao processar tensores onde a dimensão K não é múltipla de 32.