github llama.cpp · agora mesmo · inference

llama.cpp b10670 roteia a decodificação KV quantizada para TILE no Xe2 (BMG)

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10670, que inclui uma otimização específica para a arquitetura Xe2 da Intel. A atualização direciona a operação de decodificação de chave-valor (KV) quantizada exclusivamente para o backend TILE em hardware BMG, mantendo o backend VEC em outras arquiteturas até que sejam validadas.

A decodificação KV quantizada agora é direcionada ao TILE no Xe2 (BMG).
Outras arquiteturas continuam usando o backend VEC pendente de validação.
Binários estão disponíveis para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) e openEuler.

Esta alteração otimiza os padrões de acesso à memória para gerações específicas de hardware Intel.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Ler original

llama.cpp adiciona suporte à arquitetura Qwen3.8-Flash-Next (qwen4exp)

O projeto llama.cpp adicionou suporte à arquitetura do modelo Qwen3.8-Flash-Next (qwen4exp), implementando seus componentes específicos, incluindo hiperconexões, redes delta com gateamento, Mistura de Especialistas e embeddings de hash n-gram PLE.

github llama.cpp · há 1 d · 8 visualizações

llama.cpp b10653 adiciona TENSOR_READ_LAZY para carregamento de modelos

O projeto llama.cpp lançou a compilação b10653, introduzindo o recurso TENSOR_READ_LAZY em seu carregador de modelos. Esta alteração inclui a adição da função TENSOR_GET_ROW_LAZY e uma flag correspondente --tensor-read-lazy na linha de comando.

github llama.cpp · há 7 d · 12 visualizações

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

O projeto llama.cpp lançou a compilação b10568, que atualiza o tratamento de modelos para usar a função `ggml_rope_set_offset()`. Esta alteração é parcialmente aplicada para suportar o DeepSeek 2.

github llama.cpp · há 7 d · 17 visualizações

llama.cpp b10541 adiciona o argumento --mmproj-device para projetos multimodais

O projeto llama.cpp lançou a compilação b10541, introduzindo o argumento de linha de comando `--mmproj-device` para permitir que os usuários especifiquem o backend do dispositivo para carregar arquivos de projeção multimodal.

github llama.cpp · há 8 d · 8 visualizações

llama.cpp b10532 adiciona desquantização de KV do Metal para Flash Attention

O projeto llama.cpp lançou a versão b10532, introduzindo uma etapa de pré-processamento no backend do Metal que desquantiza os caches de Chave-Valor (KV) quantizados para F16 antes de executar o Flash Attention.