github llama.cpp · há 1 h · inference

llama.cpp b11005 aceita rope probe zerado para reduzir divisões do grafo

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11005, que inclui uma correção para o backend Hexagon para aceitar rope probes zerados no supports_op.

Anteriormente, rejeitar probes com n_dims == 0 ou freq_base == 0 forçava os rope_freqs para a CPU, causando divisões desnecessárias do grafo. Esta mudança previne tais divisões, reduzindo o número de divisões em modelos como gemma-4-E2B de cinco para dois.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp adiciona suporte para HrmTextForCausalLM (DFM Mimir 1B)

O projeto llama.cpp adicionou suporte à arquitetura HrmTextForCausalLM, permitindo especificamente a inferência para o modelo DFM Mimir 1B. Esta implementação introduz um novo gravador e carregador GGUF para lidar com a estrutura única do modelo, que executa duas pilhas de transformadores em um ciclo alternado sobre o mesmo fluxo de tokens.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b11001 corrige corrupção de transposição int16 no RISC-V

O projeto llama.cpp lançou a compilação b11001, que inclui uma correção crítica para a função `permute_transpose_impl` ao lidar com dados int16 nas arquiteturas RISC-V.

github llama.cpp · há 10 h · 1 visualização

llama.cpp b10995 torna incondicional a cauda BN/2 do MUL_MAT_ID no Vulkan

O projeto llama.cpp lançou a compilação b10995, que modifica o tratamento da operação MUL_MAT_ID no backend Vulkan. Especificamente, a mudança torna a cauda BN/2 incondicional, usando BN/2 como padrão para BNover2 e como fallback desabilitado para BNover4, enquanto remove o gate de habilitação dessa ramificação.

github llama.cpp · há 18 h · 2 visualizações

llama.cpp b10989 habilita AllReduce para ROCm e fornece binários multiplataforma

O projeto llama.cpp lançou a versão b10989, que introduz suporte para habilitar operações AllReduce no backend ROCm. Esta atualização faz parte do desenvolvimento contínuo para expandir a compatibilidade de hardware e as capacidades de computação distribuída para inferência de grandes modelos de linguagem.

github llama.cpp · há 23 h · 1 visualização

llama.cpp b10988 adiciona seleção de multiplicação matricial de especialistas MoE via OpenCL para decodificação especulativa

O projeto llama.cpp lançou a compilação b10988, introduzindo alterações no backend do OpenCL especificamente para modelos Mixture of Experts (MoE). A atualização implementa lógica para escolher a multiplicação matricial do especialista MoE com base no tamanho do lote durante a decodificação especulativa e previsão de múltiplos tokens.