media r/LocalLLaMA · há 1 h · open_models

Quantization-Aware Healing: um modelo comprimido de 4 bits que supera seu original de precisão completa

Traduzido do English → Português (BR)

O artigo apresenta o Quantization-Aware Healing, um método para criar um modelo comprimido de 4 bits que alcança desempenho superior ao do seu original de precisão completa.

Esta abordagem demonstra que técnicas específicas de quantização podem melhorar as capacidades do modelo além da versão base não quantizada.

Importância 2/3 r/LocalLLaMA Inference efficiency Open weights

Ler original

Facebook lança MobileMoE, uma família de modelos de linguagem MoE para dispositivos móveis

A Meta lançou o MobileMoE, uma coleção de modelos de linguagem Mixture-of-Experts (MoE) para dispositivos móveis projetados para otimizar a relação entre qualidade e eficiência em dispositivos móveis. A família inclui três escalas de modelos com parâmetros ativos submilesbilionários e pegadas de peso abaixo de 3 GB no formato INT4.

arxiv arXiv cs.LG · há 2 d · 12 visualizações

Quantization-Aware Healing recupera LLMs de 4 bits mais rápido que QAT

Os autores apresentam Quantization-Aware Healing (QAH), um pipeline que destila estudantes de 4 bits diretamente de modelos não comprimidos para recuperar o desempenho perdido durante a compressão estrutural e quantização. Aplicado ao GPT-OSS 120B, este método produz Hypernova-60B, que iguala ou supera a fonte bfloat16 em 7 dos 9 benchmarks enquanto usa aproximadamente 4 vezes menos memória de peso.

arxiv arXiv cs.CL · há 2 d · 11 visualizações

Quantization-Aware Healing recupera LLMs de 4 bits mais rápido que QAT

Os autores introduzem o Quantization-Aware Healing (QAH), um método para recuperar capacidades de raciocínio e codificação em modelos de linguagem grandes de 4 bits estruturalmente comprimidos. Diferente do treinamento consciente de quantização padrão que re-ajusta o modelo comprimido, o QAH destila o estudante de 4 bits diretamente do modelo original não comprimido.

media Hugging Face Forums · há 3 d · 5 visualizações

Xyntetik Runner treina LoRA diretamente por meio de pesos GGUF quantizados

Joakimpalm-Zen atualizou o Xyntetik Runner para treinar adaptadores LoRA diretamente usando os mesmos pesos GGUF quantizados que ele serve para inferência, eliminando a necessidade de uma cópia separada em FP16 para treinamento ou do tempo de execução.

media MarkTechPost · há 5 d · 5 visualizações

Liquid AI lança modelos rascunho LFM2.5-DSpark para decodificação até 3,18x mais rápida

A Liquid AI lançou checkpoints de modelos rascunho DSpark para três modelos de sua família LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B e LFM2.5-8B-A1B. Esses geradores de rascunho adicionam um caminho de decodificação especulativa aos modelos alvo existentes, permitindo que um rascunho de aproximadamente 300M parâmetros proponha um bloco de nove tokens candidatos que o modelo alvo verifica em uma única passagem direta.