github llama.cpp · há 20 h · inference

lançamento b11101 do llama.cpp permite chamadas repetidas de find_package para llama

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11101, que inclui uma correção no sistema de compilação permitindo chamadas repetidas de find_package para a biblioteca llama.

cmake: permite chamadas repetidas de find_package para llama (PR #29228)
Binários para macOS/iOS fornecidos para Apple Silicon (arm64), Intel (x64) e iOS XCFramework; o suporte ao KleidiAI está desabilitado.
Binários para Linux disponíveis para Ubuntu x64, arm64 e s390x nos backends de CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL e Snapdragon.
Binários Android arm64 lançados para CPU e Snapdragon (CPU, GPU Adreno, NPU Hexagon).
Binários para Windows fornecidos para CPUs x64 e arm64, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL e ROCm 10.0.
O suporte ao openEuler está amplamente desabilitado, com apenas as configurações específicas 310p e 910b (ACL Graph) listadas.

Este lançamento fornece binários atualizados para uma ampla gama de aceleradores de hardware e sistemas operacionais, juntamente com a correção do cmake.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Artigos relacionados

github llama.cpp · agora mesmo · 1 visualização Ao vivo

llama.cpp b11122 estende a fusão MMVQ GLU e adiciona novas fusões SYCL

O projeto llama.cpp lançou a versão b11122, que inclui atualizações significativas para o backend SYCL. O lançamento estende a fusão MMVQ GLU para suportar tipos de quantização mistos e introduz novas fusões para as operações rms_norm+scale e ssm_conv+silu.

github llama.cpp · há 14 h · 11 visualizações

llama.cpp b11111 adiciona kernels de otimização flash attention para Intel Xe

O projeto llama.cpp lançou a compilação b11111, que introduz kernels de otimização flash attention baseados em Vulkan para caminhos split k nas arquiteturas Xe-LPG Plus, Xe2 e Xe3.

github llama.cpp · há 17 h · 9 visualizações

llama.cpp adiciona suporte a DFlash para HunyuanOCR e corrige conversão de rascunho

O projeto llama.cpp adicionou suporte à decodificação especulativa DFlash com o modelo HunyuanOCR, expondo tensores de entrada das camadas no grafo alvo. Essa alteração permite que o modelo de rascunho leia os fluxos residuais, possibilitando que solicitações de imagem sejam executadas com sucesso, apresentando uma taxa de aceitação de rascunho de aproximadamente 0,5 e saída OCR idêntica em bytes em comparação às execuções não especulativas.

lab Hugging Face Blog · há 21 h · 10 visualizações

Transformers adiciona suporte a GGUF por meio de kernels ggml para inferência local

A biblioteca Transformers do Hugging Face agora suporta o carregamento de modelos quantizados em GGUF, aproveitando os kernels ggml subjacentes para trazer o desempenho próximo ao do llama.cpp. Essa integração permite que desenvolvedores executem checkpoints quantizados diretamente na API padrão baseada em PyTorch em hardware compatível.

github llama.cpp · há 1 d · 11 visualizações

llama.cpp b11097 adiciona kernel binário dp4a para A8 Q4_0 non-MoE

O projeto llama.cpp lançou a versão b11097, que introduz um kernel binário OpenCL para o formato A8 Q4_0 non-MoE dp4a.