media r/LocalLLaMA · há 1 h · open_models

Facebook lança MobileMoE, uma família de modelos de linguagem MoE para dispositivos móveis

Traduzido do English → Português (BR)

A Meta lançou o MobileMoE, uma coleção de modelos de linguagem Mixture-of-Experts (MoE) para dispositivos móveis projetados para otimizar a relação entre qualidade e eficiência em dispositivos móveis. A família inclui três escalas de modelos com parâmetros ativos submilesbilionários e pegadas de peso abaixo de 3 GB no formato INT4.

Os modelos possuem 0.3B, 0.5B e 0.9B parâmetros ativos (1.3B, 2.8B e 5.3B no total), cada um disponível nas variantes Base, SFT e QAT.
O MobileMoE-L-Base é o modelo pré-treinado com 922M parâmetros ativos, 32 camadas e um comprimento de contexto de 8.192 tokens.
A arquitetura utiliza 60 especialistas roteados com roteamento top-k sigmoid e um especialista compartilhado, suportando entrada e saída de texto em inglês.
Lançado sob a licença FAIR NC em agosto de 2026, os modelos estão hospedados no Hugging Face.

Importância 2/3 r/LocalLLaMA Meta AI Inference efficiency Open weights

Ler original

Quantization-Aware Healing recupera LLMs de 4 bits mais rápido que QAT

Os autores apresentam Quantization-Aware Healing (QAH), um pipeline que destila estudantes de 4 bits diretamente de modelos não comprimidos para recuperar o desempenho perdido durante a compressão estrutural e quantização. Aplicado ao GPT-OSS 120B, este método produz Hypernova-60B, que iguala ou supera a fonte bfloat16 em 7 dos 9 benchmarks enquanto usa aproximadamente 4 vezes menos memória de peso.

arxiv arXiv cs.CL · há 17 h · 9 visualizações

Quantization-Aware Healing recupera LLMs de 4 bits mais rápido que QAT

Os autores introduzem o Quantization-Aware Healing (QAH), um método para recuperar capacidades de raciocínio e codificação em modelos de linguagem grandes de 4 bits estruturalmente comprimidos. Diferente do treinamento consciente de quantização padrão que re-ajusta o modelo comprimido, o QAH destila o estudante de 4 bits diretamente do modelo original não comprimido.

media Hugging Face Forums · há 2 d · 6 visualizações

Xyntetik Runner treina LoRA diretamente por meio de pesos GGUF quantizados

Joakimpalm-Zen atualizou o Xyntetik Runner para treinar adaptadores LoRA diretamente usando os mesmos pesos GGUF quantizados que ele serve para inferência, eliminando a necessidade de uma cópia separada em FP16 para treinamento ou do tempo de execução.

media MarkTechPost · há 4 d · 11 visualizações

Liquid AI lança modelos rascunho LFM2.5-DSpark para decodificação até 3,18x mais rápida

A Liquid AI lançou checkpoints de modelos rascunho DSpark para três modelos de sua família LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B e LFM2.5-8B-A1B. Esses geradores de rascunho adicionam um caminho de decodificação especulativa aos modelos alvo existentes, permitindo que um rascunho de aproximadamente 300M parâmetros proponha um bloco de nove tokens candidatos que o modelo alvo verifica em uma única passagem direta.

lab Liquid AI · há 4 d · 15 visualizações

Liquid AI lança modelos rascunho DSpark para LFM2.5 para acelerar a inferência

A Liquid AI lançou checkpoints de modelos rascunho para sua família LFM2.5 — especificamente LFM2.5-1.2B-Instruct, LFM2.5-2.6B e LFM2.5-8B-A1B — que utilizam decodificação especulativa para melhorar significativamente a velocidade de inferência sem comprometer a qualidade da saída.