github llama.cpp · agora mesmo · inference

llama.cpp b11122 estende a fusão MMVQ GLU e adiciona novas fusões SYCL

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11122, que inclui atualizações significativas para o backend SYCL. O lançamento estende a fusão MMVQ GLU para suportar tipos de quantização mistos e introduz novas fusões para as operações rms_norm+scale e ssm_conv+silu.

Estende a fusão MMVQ GLU para lidar com tipos de quantização mistos no backend SYCL.
Adiciona fusões rms_norm+scale e ssm_conv+silu para SYCL.
Corrige problemas de espaçamento e converte uma macro para uma função modelo.
Fornece binários para macOS, Linux, Windows, Android e openEuler através de backends CPU, GPU e NPU incluindo CUDA, Vulkan, ROCm e OpenVINO.

Esta atualização melhora o desempenho e a compatibilidade para aceleração de hardware baseada em SYCL dentro do ecossistema llama.cpp.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Ler original

llama.cpp adiciona suporte a DFlash para HunyuanOCR e corrige conversão de rascunho

O projeto llama.cpp adicionou suporte à decodificação especulativa DFlash com o modelo HunyuanOCR, expondo tensores de entrada das camadas no grafo alvo. Essa alteração permite que o modelo de rascunho leia os fluxos residuais, possibilitando que solicitações de imagem sejam executadas com sucesso, apresentando uma taxa de aceitação de rascunho de aproximadamente 0,5 e saída OCR idêntica em bytes em comparação às execuções não especulativas.

lab Hugging Face Blog · há 21 h · 10 visualizações

Transformers adiciona suporte a GGUF por meio de kernels ggml para inferência local

A biblioteca Transformers do Hugging Face agora suporta o carregamento de modelos quantizados em GGUF, aproveitando os kernels ggml subjacentes para trazer o desempenho próximo ao do llama.cpp. Essa integração permite que desenvolvedores executem checkpoints quantizados diretamente na API padrão baseada em PyTorch em hardware compatível.

github llama.cpp · há 4 d · 21 visualizações

llama.cpp b11046 adiciona suporte para OpenCL ao kernel flash_attn_f32_f16_bin

O projeto llama.cpp lançou a versão b11046, que introduz suporte para OpenCL no kernel `flash_attn_f32_f16_bin`. Esta atualização também inclui funcionalidade de pré-preenchimento protegido para Flash Attention em dispositivos OpenCL.

github llama.cpp · há 6 d · 15 visualizações

llama.cpp b11019 corrige alinhamento de dados do GGUF para arquivos embutidos e adiciona carregamento de LoRA

O projeto llama.cpp lançou a versão b11019, corrigindo um bug crítico em que arquivos GGUF embutidos em deslocamentos não alinhados retornavam dados de tensor incorretos. A atualização alinha a seção de dados do GGUF em relação ao início do arquivo, em vez do deslocamento 0, garantindo o carregamento correto de modelos embutidos.

github llama.cpp · há 7 d · 20 visualizações

llama.cpp b11006 adiciona suporte Hexagon para K-Quants Q4_K e Q6_K

O projeto llama.cpp lançou a versão b11006, introduzindo suporte para processadores Qualcomm Hexagon para lidar com formatos de K-Quantization. Esta atualização implementa kernels específicos para os níveis de quantização Q4_K e Q6_K na arquitetura Hexagon.