github llama.cpp · agora mesmo · inference

llama.cpp adiciona suporte para HrmTextForCausalLM (DFM Mimir 1B)

Traduzido do English → Português (BR)

O projeto llama.cpp adicionou suporte à arquitetura HrmTextForCausalLM, permitindo especificamente a inferência para o modelo DFM Mimir 1B. Esta implementação introduz um novo gravador e carregador GGUF para lidar com a estrutura única do modelo, que executa duas pilhas de transformadores em um ciclo alternado sobre o mesmo fluxo de tokens.

O processo de conversão mapeia projeções gqkv fundidas para q/k/v do llama.cpp mais um tensor de porta sigmoide separado.
O cache KV lida com aliasing de blocos para arquiteturas em loop, mantendo uma entrada por passagem através de 128 camadas.
A inferência é verificada contra saídas de referência do Hugging Face com resultados idênticos de argmax em 334 posições.
A quantização para q8_0 retém 95,8% de precisão top-1, com erros restantes confinados dentro do top-5 do HF.

Esta adição permite que os usuários executem modelos HRM-text em hardware local, embora isso venha com trocas significativas de desempenho devido ao design da arquitetura.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Artigos relacionados

github llama.cpp · há 2 h · 1 visualização

llama.cpp b11001 corrige corrupção de transposição int16 no RISC-V

O projeto llama.cpp lançou a compilação b11001, que inclui uma correção crítica para a função `permute_transpose_impl` ao lidar com dados int16 nas arquiteturas RISC-V.

github llama.cpp · há 8 h · 1 visualização

llama.cpp b10995 torna incondicional a cauda BN/2 do MUL_MAT_ID no Vulkan

O projeto llama.cpp lançou a compilação b10995, que modifica o tratamento da operação MUL_MAT_ID no backend Vulkan. Especificamente, a mudança torna a cauda BN/2 incondicional, usando BN/2 como padrão para BNover2 e como fallback desabilitado para BNover4, enquanto remove o gate de habilitação dessa ramificação.

github llama.cpp · há 16 h · 2 visualizações

llama.cpp b10989 habilita AllReduce para ROCm e fornece binários multiplataforma

O projeto llama.cpp lançou a versão b10989, que introduz suporte para habilitar operações AllReduce no backend ROCm. Esta atualização faz parte do desenvolvimento contínuo para expandir a compatibilidade de hardware e as capacidades de computação distribuída para inferência de grandes modelos de linguagem.

github llama.cpp · há 21 h · 1 visualização

llama.cpp b10988 adiciona seleção de multiplicação matricial de especialistas MoE via OpenCL para decodificação especulativa

O projeto llama.cpp lançou a compilação b10988, introduzindo alterações no backend do OpenCL especificamente para modelos Mixture of Experts (MoE). A atualização implementa lógica para escolher a multiplicação matricial do especialista MoE com base no tamanho do lote durante a decodificação especulativa e previsão de múltiplos tokens.

github llama.cpp · há 1 d · 1 visualização

llama.cpp b10984 adiciona suporte CUDA para SUM_ROWS contíguo por linha

O projeto llama.cpp lançou a versão b10984, introduzindo suporte CUDA para operações SUM_ROWS contíguas por linha. Esta atualização também organiza o código para incluir GGML_OP_MEAN para lidar com tensores contíguos por linha por meio de um kernel compartilhado.