media r/LocalLLaMA · há 45 d · open_models

Bonsai 27B: o primeiro modelo de classe 27B a rodar em um telefone

Traduzido do English → Português (BR)

O artigo apresenta o Bonsai 27B, descrito como o primeiro modelo de sua classe capaz de rodar em um telefone celular.

Nenhum detalhe adicional ou recursos específicos são fornecidos no texto original.

Importância 1/3 r/LocalLLaMA Inference efficiency Open weights

Quantization-Aware Healing: um modelo comprimido de 4 bits que supera seu original de precisão completa

O artigo apresenta o Quantization-Aware Healing, um método para criar um modelo comprimido de 4 bits que alcança desempenho superior ao do seu original de precisão completa.

media r/LocalLLaMA · há 4 d · 5 visualizações

Facebook lança MobileMoE, uma família de modelos de linguagem MoE para dispositivos móveis

A Meta lançou o MobileMoE, uma coleção de modelos de linguagem Mixture-of-Experts (MoE) para dispositivos móveis projetados para otimizar a relação entre qualidade e eficiência em dispositivos móveis. A família inclui três escalas de modelos com parâmetros ativos submilesbilionários e pegadas de peso abaixo de 3 GB no formato INT4.

arxiv arXiv cs.LG · há 5 d · 14 visualizações

Quantization-Aware Healing recupera LLMs de 4 bits mais rápido que QAT

Os autores apresentam Quantization-Aware Healing (QAH), um pipeline que destila estudantes de 4 bits diretamente de modelos não comprimidos para recuperar o desempenho perdido durante a compressão estrutural e quantização. Aplicado ao GPT-OSS 120B, este método produz Hypernova-60B, que iguala ou supera a fonte bfloat16 em 7 dos 9 benchmarks enquanto usa aproximadamente 4 vezes menos memória de peso.

arxiv arXiv cs.CL · há 5 d · 14 visualizações

Quantization-Aware Healing recupera LLMs de 4 bits mais rápido que QAT

Os autores introduzem o Quantization-Aware Healing (QAH), um método para recuperar capacidades de raciocínio e codificação em modelos de linguagem grandes de 4 bits estruturalmente comprimidos. Diferente do treinamento consciente de quantização padrão que re-ajusta o modelo comprimido, o QAH destila o estudante de 4 bits diretamente do modelo original não comprimido.

media Hugging Face Forums · há 6 d · 6 visualizações

Xyntetik Runner treina LoRA diretamente por meio de pesos GGUF quantizados

Joakimpalm-Zen atualizou o Xyntetik Runner para treinar adaptadores LoRA diretamente usando os mesmos pesos GGUF quantizados que ele serve para inferência, eliminando a necessidade de uma cópia separada em FP16 para treinamento ou do tempo de execução.