github llama.cpp · agora mesmo · inference

llama.cpp b11046 adiciona suporte para OpenCL ao kernel flash_attn_f32_f16_bin

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11046, que introduz suporte para OpenCL no kernel `flash_attn_f32_f16_bin`. Esta atualização também inclui funcionalidade de pré-preenchimento protegido para Flash Attention em dispositivos OpenCL.

Adicionada a implementação do kernel `flash_attn_f32_f16_bin` para OpenCL.
Implementada a lógica de pré-preenchimento protegido para Flash Attention no backend de OpenCL.
Fornecidos binários para macOS (Apple Silicon e Intel), Linux (CPU, CUDA, ROCm, Vulkan, SYCL, OpenVINO), Windows (CPU, CUDA, Vulkan, SYCL, ROCm, OpenVINO), Android e iOS.

Este lançamento expande a compatibilidade de hardware para mecanismos de atenção em dispositivos com capacidade OpenCL, mantendo o amplo suporte entre os principais sistemas operacionais e aceleradores.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Ler original

llama.cpp b11019 corrige alinhamento de dados do GGUF para arquivos embutidos e adiciona carregamento de LoRA

O projeto llama.cpp lançou a versão b11019, corrigindo um bug crítico em que arquivos GGUF embutidos em deslocamentos não alinhados retornavam dados de tensor incorretos. A atualização alinha a seção de dados do GGUF em relação ao início do arquivo, em vez do deslocamento 0, garantindo o carregamento correto de modelos embutidos.

github llama.cpp · há 2 d · 7 visualizações

llama.cpp b11006 adiciona suporte Hexagon para K-Quants Q4_K e Q6_K

O projeto llama.cpp lançou a versão b11006, introduzindo suporte para processadores Qualcomm Hexagon para lidar com formatos de K-Quantization. Esta atualização implementa kernels específicos para os níveis de quantização Q4_K e Q6_K na arquitetura Hexagon.

github llama.cpp · há 4 d · 10 visualizações

llama.cpp b10981 corrige decode com estado para Gemma-4 e otimiza inferência de GPU MoE

O lançamento do llama.cpp b10981 aborda problemas críticos de correção no caminho de decodificação com estado do backend OpenVINO, corrigindo especificamente o suporte para modelos como Gemma-4 que usam tamanhos de cabeça por camada. Também introduz otimizações para inferência de Mixture of Experts (MoE) em GPU e melhora o desempenho por meio de relayouts do estado KV.

github llama.cpp · há 11 d · 24 visualizações

llama.cpp b10840 adiciona descompactação sem ramificação Q4_K/Q5_K e prefetch L2 para CUDA

O projeto llama.cpp lançou a versão b10840, que introduz otimizações de desempenho para inferência em CUDA. A atualização implementa computação sem ramificação para os formatos de quantização Q4_K e Q5_K para acelerar a multiplicação matriz-vetor (mmvq).

github llama.cpp · há 12 d · 23 visualizações

llama.cpp b10827 corrige a seleção de pacote de pesos OpenCL para mul_mat q4_K e q5_K

O projeto llama.cpp lançou a versão b10827, que inclui uma correção para escolher corretamente o pacote de pesos para operações de multiplicação de matrizes q4_K e q5_K usando OpenCL.