media Hugging Face Forums · hace 1 h · open_models

Dev-4B combina decisiones rápidas calibradas con escalación de razonamiento basado en riesgos

Traducido del English → Español

El autor lanzó Dev-4B, un modelo local pequeño basado en Qwen3-4B-Instruct que responde preguntas escritas sobre documentos con confianza calibrada. Utiliza un enrutador integrado para decidir si proporcionar una respuesta rápida o escalar a razonamiento paso a paso solo cuando la predicción inicial es probablemente incorrecta.

Evaluado en 7,100 preguntas de prueba congeladas, Dev-4B logró 81.8% de precisión en 1.37 segundos por pregunta.
Esto supera las respuestas siempre rápidas (76.3%, 0.16 s/preg) y los enfoques siempre de razonamiento (78.0%, 10.2 s/preg).
El modelo utiliza un adaptador LoRA activado para preguntas y un enrutador diminuto, con compilaciones MLX de 8 bits disponibles.

La herramienta está diseñada para experimentos locales de calibración y enrutamiento fuera de línea, particularmente para desarrolladores independientes de Mac.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Alibaba (Qwen) Inference efficiency Open weights

Leer original

ISTA publica GGUFs GSQ-RCO para Qwen3.8-Flash-Next y una versión de Coder con poda del 50% de expertos

El Laboratorio de Algoritmos Profundos y Sistemas de ISTA ha publicado versiones cuantizadas en formato GGUF del modelo de mezcla dispersa de expertos Qwen3.8-Flash-Next, junto con una compilación experimental orientada a capacidades específicas que elimina la mitad de sus expertos.

arxiv arXiv cs.LG · hace 43 d · 71 vistas

Quantization-Aware Healing recupera LLMs de 4 bits más rápido que QAT

Los autores presentan Quantization-Aware Healing (QAH), una canalización que destila estudiantes de 4 bits directamente desde modelos sin comprimir para recuperar el rendimiento perdido durante la compresión estructural y cuantización. Aplicado a GPT-OSS 120B, este método produce Hypernova-60B, que iguala o supera al bfloat16 fuente en 7 de 9 benchmarks mientras usa aproximadamente 4 veces menos memoria de peso.

arxiv arXiv cs.CL · hace 43 d · 75 vistas

Quantization-Aware Healing recupera LLMs de 4 bits más rápido que QAT

Los autores presentan Quantization-Aware Healing (QAH), un método para recuperar capacidades de razonamiento y codificación en modelos de lenguaje grandes de 4 bits estructuralmente comprimidos. A diferencia del entrenamiento consciente de la cuantización estándar que re-ajusta el modelo comprimido, QAH destila al estudiante de 4 bits directamente desde el modelo original sin comprimir.

media r/LocalLLaMA · hace 52 d · 48 vistas

Qwen libera los pesos abiertos para Qwen 3.8 27B

Qwen ha liberado los pesos abiertos para su modelo Qwen 3.8 27B. El checkpoint está disponible en Hugging Face.

media MarkTechPost · hace 80 d · 92 vistas

PrismML lanza Bonsai 27B, comprimiendo Qwen3.6-27B a pesos de 1 bit y ternarios

PrismML ha lanzado Bonsai 27B, una cuantización de bajo ancho de banda del modelo Qwen3.6-27B que permite ejecutar grandes modelos multimodales en portátiles y teléfonos sin necesidad de reentrenamiento.