media r/LocalLLaMA · há 50 d · fonte: há 56 d · open_models

NVIDIA lança o modelo Qwen3.6-27B-NVFP4

Traduzido do English → Português (BR)

A NVIDIA lançou o modelo Qwen3.6-27B-NVFP4 no Hugging Face.

O checkpoint agora está disponível para download.

Importância 1/3 r/LocalLLaMA NVIDIA Alibaba (Qwen) Inference efficiency Open weights

Quantization-Aware Healing recupera LLMs de 4 bits mais rápido que QAT

Os autores apresentam Quantization-Aware Healing (QAH), um pipeline que destila estudantes de 4 bits diretamente de modelos não comprimidos para recuperar o desempenho perdido durante a compressão estrutural e quantização. Aplicado ao GPT-OSS 120B, este método produz Hypernova-60B, que iguala ou supera a fonte bfloat16 em 7 dos 9 benchmarks enquanto usa aproximadamente 4 vezes menos memória de peso.

arxiv arXiv cs.CL · há 23 h · 9 visualizações

Quantization-Aware Healing recupera LLMs de 4 bits mais rápido que QAT

Os autores introduzem o Quantization-Aware Healing (QAH), um método para recuperar capacidades de raciocínio e codificação em modelos de linguagem grandes de 4 bits estruturalmente comprimidos. Diferente do treinamento consciente de quantização padrão que re-ajusta o modelo comprimido, o QAH destila o estudante de 4 bits diretamente do modelo original não comprimido.

media r/LocalLLaMA · há 8 d · 16 visualizações

Quantization-Aware Healing recupera LLMs de 4 bits mais rápido que QAT

Quantization-Aware Healing recupera LLMs de 4 bits mais rápido que QAT

NVIDIA serve Qwen 3.8 2.4T no GB300 NVL72 a 4K tokens/s por GPU

Qwen libera pesos abertos para Qwen 3.8 27B

Alibaba libera pesos abertos do Qwen3.8-2.4T-A95B para NVIDIA GB300 NVL72