github llama.cpp · há 1 h · inference

llama.cpp b11147 adiciona kernel OpenCL dp4a non-MoE Q6_K A8

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11147, que introduz um novo kernel binário para OpenCL. Esta atualização adiciona especificamente suporte para a configuração A8 Q6_K non-MoE dp4a.

Adiciona um kernel binário A8 Q6_K non-MoE dp4a para OpenCL.
Fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows (CPU, Adreno, CUDA, Vulkan, OpenVINO, SYCL, ROCm) e openEuler.

Esta versão permite que os usuários executem o llama.cpp em uma ampla gama de plataformas de hardware com as mais recentes otimizações do kernel.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b11132 adiciona suporte ao backbone de rascunho Gemma 4 DSpark

O projeto llama.cpp lançou a versão b11132, introduzindo suporte ao backbone de rascunho Gemma 4 DSpark. Esta atualização habilita a conversão GGUF e capacidades em tempo de execução para rascunhos Gemma 4 com atenção completa e SWA, incluindo pesos de saída vinculados e metadados do backbone booleanos.

github llama.cpp · há 11 h · 12 visualizações

llama.cpp b11122 estende a fusão MMVQ GLU e adiciona novas fusões SYCL

O projeto llama.cpp lançou a versão b11122, que inclui atualizações significativas para o backend SYCL. O lançamento estende a fusão MMVQ GLU para suportar tipos de quantização mistos e introduz novas fusões para as operações rms_norm+scale e ssm_conv+silu.

github llama.cpp · há 1 d · 13 visualizações

llama.cpp b11111 adiciona kernels de otimização flash attention para Intel Xe

O projeto llama.cpp lançou a compilação b11111, que introduz kernels de otimização flash attention baseados em Vulkan para caminhos split k nas arquiteturas Xe-LPG Plus, Xe2 e Xe3.

github llama.cpp · há 1 d · 11 visualizações

llama.cpp adiciona suporte a DFlash para HunyuanOCR e corrige conversão de rascunho

O projeto llama.cpp adicionou suporte à decodificação especulativa DFlash com o modelo HunyuanOCR, expondo tensores de entrada das camadas no grafo alvo. Essa alteração permite que o modelo de rascunho leia os fluxos residuais, possibilitando que solicitações de imagem sejam executadas com sucesso, apresentando uma taxa de aceitação de rascunho de aproximadamente 0,5 e saída OCR idêntica em bytes em comparação às execuções não especulativas.

github llama.cpp · há 1 d · 14 visualizações

lançamento b11101 do llama.cpp permite chamadas repetidas de find_package para llama

O projeto llama.cpp lançou a versão b11101, que inclui uma correção no sistema de compilação permitindo chamadas repetidas de find_package para a biblioteca llama.