media Hugging Face Forums · há 1 h · open_models

Dev-4B combina decisões rápidas calibradas com escalonamento de raciocínio baseado em risco

Traduzido do English → Português (BR)

O autor lançou o Dev-4B, um modelo local pequeno baseado no Qwen3-4B-Instruct que responde a perguntas digitadas sobre documentos com confiança calibrada. Ele usa um roteador integrado para decidir se fornece uma resposta rápida ou escala para raciocínio passo a passo apenas quando a previsão inicial provavelmente está errada.

Avaliado em 7.100 perguntas de teste congeladas, o Dev-4B atingiu 81,8% de precisão em 1,37 segundos por pergunta.
Isso supera respostas sempre rápidas (76,3%, 0,16 s/pergunta) e abordagens sempre de raciocínio (78,0%, 10,2 s/pergunta).
O modelo usa um adaptador LoRA ativado para perguntas e um roteador minúsculo, com compilações MLX de 8 bits disponíveis.

A ferramenta é projetada para experimentos locais de calibração e roteamento offline, especialmente para desenvolvedores indie de Mac.

Importância 1/3 Confiança 1/3 Hugging Face Forums Alibaba (Qwen) Inference efficiency Open weights

Ler original

ISTA lança GGUFs GSQ-RCO para Qwen3.8-Flash-Next e compilação Coder com 50% de especialistas podados

O Laboratório de Algoritmos Profundos e Sistemas da ISTA lançou versões GGUF quantizadas do modelo mistura esparsa de especialistas Qwen3.8-Flash-Next, juntamente com uma compilação experimental voltada a capacidades específicas, com metade de seus especialistas removidos.

arxiv arXiv cs.LG · há 43 d · 71 visualizações

Quantization-Aware Healing recupera LLMs de 4 bits mais rápido que QAT

Os autores apresentam Quantization-Aware Healing (QAH), um pipeline que destila estudantes de 4 bits diretamente de modelos não comprimidos para recuperar o desempenho perdido durante a compressão estrutural e quantização. Aplicado ao GPT-OSS 120B, este método produz Hypernova-60B, que iguala ou supera a fonte bfloat16 em 7 dos 9 benchmarks enquanto usa aproximadamente 4 vezes menos memória de peso.

arxiv arXiv cs.CL · há 43 d · 75 visualizações

Quantization-Aware Healing recupera LLMs de 4 bits mais rápido que QAT

Os autores introduzem o Quantization-Aware Healing (QAH), um método para recuperar capacidades de raciocínio e codificação em modelos de linguagem grandes de 4 bits estruturalmente comprimidos. Diferente do treinamento consciente de quantização padrão que re-ajusta o modelo comprimido, o QAH destila o estudante de 4 bits diretamente do modelo original não comprimido.

media r/LocalLLaMA · há 52 d · 48 visualizações

Qwen libera pesos abertos para Qwen 3.8 27B

A Qwen liberou os pesos abertos para seu modelo Qwen 3.8 27B. O checkpoint está disponível no Hugging Face.

media MarkTechPost · há 80 d · 92 visualizações

PrismML lança Bonsai 27B, comprimindo Qwen3.6-27B para pesos de 1-bit e ternários

A PrismML lançou o Bonsai 27B, uma quantização de baixa precisão do modelo Qwen3.6-27B que permite executar grandes modelos multimodais em laptops e celulares sem necessidade de retreinamento.