github llama.cpp · agora mesmo · inference

llama.cpp b10514 adiciona suporte de conversão para modelos GraniteSWA e GraniteMoeSWA

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10514, que introduz infraestrutura de conversão para as arquiteturas IBM's GraniteSWAForCausalLM e GraniteMoeSWAForCausalLM. Esta atualização permite aos usuários converter esses tipos específicos de modelos para o formato GGUF para uso com llama.cpp.

Adicionado suporte feat(convert) para GraniteSWAForCausalLM e GraniteMoeSWAForCausalLM.
Implementada infraestrutura de conversão para arrays rope_pattern e determinação de rope por camada.
Corrigida a lógica do padrão SWA para suportar camadas non-rope e corrigido o nome para ffn gate inp.
Atualizado llama_hparams com constantes has_rope e removidos fallbacks rope_finetuned hacky.
Incluídos binários para macOS, Linux, Windows e Android através de CPU, CUDA, Vulkan, OpenCL e outros backends.

Este lançamento permite que o ecossistema llama.cpp suporte nativamente os modelos IBM's sliding window attention, expandindo a gama de arquiteturas compatíveis disponíveis para inferência local.

Importância 1/3 Confiança 1/3 llama.cpp IBM Inference efficiency

Artigos relacionados

media Hugging Face Forums · há 1 h · 1 visualização Ao vivo

Medições sugerem revisar o padrão q_proj/v_proj para módulos alvo do LoRA

O autor mede a sobreposição do subespaço de gradiente em quatro modelos para avaliar o padrão padrão do LoRA, que direciona as projeções de consulta e valor. A análise indica que esse padrão pode ser subotimal quando o objetivo é reter capacidades anteriores em vez de maximizar a precisão em uma nova tarefa.

github llama.cpp · há 5 h · 1 visualização

llama.cpp b10509 adiciona suporte a ggml_rope_set_offset para Metal, CUDA e Vulkan

O projeto llama.cpp lançou a compilação b10509, que introduz suporte para a função `ggml_rope_set_offset` em vários backends de hardware. Esta atualização inclui implementações de CPU, Metal, CUDA e Vulkan para a nova operação.

github llama.cpp · há 9 h · 1 visualização

llama.cpp b10505 adiciona a opção de preset dedup-cache-models

O projeto llama.cpp lançou a versão b10505, que introduz uma nova opção de preset `dedup-cache-models` para o componente do servidor.

lab Liquid AI · há 21 h · 1 visualização

Checkpoints LFM2.5 Q4_0 usam Distorção Sensível à Quantização para recuperar 97% da precisão BF16

A equipe do LFM2.5 lançou checkpoints GGUF atualizados de 4 bits para os modelos LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct e LFM2.5-2.6B, treinados usando Distorção Sensível à Quantização (QAD). Esta técnica distila um modelo professor de alta precisão em um aluno quantizado para recuperar a precisão perdida durante a quantização padrão pós-treinamento.

lab Hugging Face Blog · há 22 h · 2 visualizações

Liquid AI lança checkpoints LFM2.5 Q4_0 por meio de Destilação Sensível à Quantização

A Liquid AI lançou checkpoints GGUF Q4_0 para sua família de modelos LFM2.5, utilizando um novo método de treinamento chamado Destilação Sensível à Quantização (QAD). Essa abordagem destila modelos professores de alta precisão em modelos alunos quantizados para recuperar a precisão perdida durante a quantização pós-treinamento padrão.