github llama.cpp · há 1 h · inference

llama.cpp b11009 corrige estado dividido para QKV fundido em gemma4 e qwen35

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11009, que aborda problemas críticos com o estado dividido e cálculos de granularidade para camadas de atenção QKV fundidas.

O código do modelo agora calcula corretamente os estados divididos para attn_qkv com base em n_head * n_embd_head_k, resolvendo problemas de compatibilidade com modelos gemma4 que usam a flag --fuse-qkv onde n_embd é 5376 mas Q é 8192.
Suporte para camadas de atenção completa fundidas foi adicionado para as arquiteturas qwen35 e qwen35moe.
Uma tag TODO [TAG_SPLIT_QGATE_QWEN] foi adicionada para rastrear trabalho adicional na divisão de QGate para modelos Qwen.

Este lançamento garante que configurações específicas do modelo, particularmente aquelas envolvendo operações QKV fundidas em gemma4 e qwen35, funcionem corretamente sem erros de cálculo de estado.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b11006 adiciona suporte Hexagon para K-Quants Q4_K e Q6_K

O projeto llama.cpp lançou a versão b11006, introduzindo suporte para processadores Qualcomm Hexagon para lidar com formatos de K-Quantization. Esta atualização implementa kernels específicos para os níveis de quantização Q4_K e Q6_K na arquitetura Hexagon.

github llama.cpp · há 4 h · 2 visualizações

llama.cpp b11005 aceita rope probe zerado para reduzir divisões do grafo

O projeto llama.cpp lançou a versão b11005, que inclui uma correção para o backend Hexagon para aceitar rope probes zerados no supports_op.

github llama.cpp · há 5 h · 2 visualizações

llama.cpp adiciona suporte para HrmTextForCausalLM (DFM Mimir 1B)

O projeto llama.cpp adicionou suporte à arquitetura HrmTextForCausalLM, permitindo especificamente a inferência para o modelo DFM Mimir 1B. Esta implementação introduz um novo gravador e carregador GGUF para lidar com a estrutura única do modelo, que executa duas pilhas de transformadores em um ciclo alternado sobre o mesmo fluxo de tokens.

github llama.cpp · há 7 h · 1 visualização

llama.cpp b11001 corrige corrupção de transposição int16 no RISC-V

O projeto llama.cpp lançou a compilação b11001, que inclui uma correção crítica para a função `permute_transpose_impl` ao lidar com dados int16 nas arquiteturas RISC-V.

github llama.cpp · há 13 h · 1 visualização

llama.cpp b10995 torna incondicional a cauda BN/2 do MUL_MAT_ID no Vulkan

O projeto llama.cpp lançou a compilação b10995, que modifica o tratamento da operação MUL_MAT_ID no backend Vulkan. Especificamente, a mudança torna a cauda BN/2 incondicional, usando BN/2 como padrão para BNover2 e como fallback desabilitado para BNover4, enquanto remove o gate de habilitação dessa ramificação.