media r/LocalLLaMA · hace 1 h · open_models

Quantization-Aware Healing: un modelo comprimido de 4 bits que supera a su original de precisión completa

Traducido del English → Español

El artículo presenta Quantization-Aware Healing, un método para crear un modelo comprimido de 4 bits que logra un rendimiento superior al de su original de precisión completa.

Este enfoque demuestra que técnicas específicas de cuantización pueden mejorar las capacidades del modelo más allá de la versión base no cuantizada.

Importancia 2/3 r/LocalLLaMA Inference efficiency Open weights

Leer original

Facebook lanza MobileMoE, una familia de modelos de lenguaje MoE para dispositivos móviles

Meta ha lanzado MobileMoE, una colección de modelos de lenguaje Mixture-of-Experts (MoE) para dispositivos móviles diseñados para optimizar el equilibrio entre calidad y eficiencia en dispositivos móviles. La familia incluye tres escalas de modelos con parámetros activos submilesmillonarios y huellas de peso inferiores a 3 GB en formato INT4.

arxiv arXiv cs.LG · hace 2 d · 12 vistas

Quantization-Aware Healing recupera LLMs de 4 bits más rápido que QAT

Los autores presentan Quantization-Aware Healing (QAH), una canalización que destila estudiantes de 4 bits directamente desde modelos sin comprimir para recuperar el rendimiento perdido durante la compresión estructural y cuantización. Aplicado a GPT-OSS 120B, este método produce Hypernova-60B, que iguala o supera al bfloat16 fuente en 7 de 9 benchmarks mientras usa aproximadamente 4 veces menos memoria de peso.

arxiv arXiv cs.CL · hace 2 d · 11 vistas

Quantization-Aware Healing recupera LLMs de 4 bits más rápido que QAT

Los autores presentan Quantization-Aware Healing (QAH), un método para recuperar capacidades de razonamiento y codificación en modelos de lenguaje grandes de 4 bits estructuralmente comprimidos. A diferencia del entrenamiento consciente de la cuantización estándar que re-ajusta el modelo comprimido, QAH destila al estudiante de 4 bits directamente desde el modelo original sin comprimir.

media Hugging Face Forums · hace 3 d · 5 vistas

Xyntetik Runner entrena LoRA directamente con pesos GGUF cuantizados

Joakimpalm-Zen ha actualizado Xyntetik Runner para entrenar adaptadores LoRA directamente utilizando los mismos pesos GGUF cuantizados que sirve para inferencia, eliminando la necesidad de una copia de entrenamiento FP16 separada o un tiempo de ejecución adicional.

media MarkTechPost · hace 5 d · 5 vistas

Liquid AI lanza modelos borrador LFM2.5-DSpark para una decodificación hasta 3,18 veces más rápida

Liquid AI ha lanzado puntos de control del modelo borrador DSpark para tres modelos de su familia LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B y LFM2.5-8B-A1B. Estos generadores de borrador añaden una ruta de decodificación especulativa a los modelos objetivo existentes, permitiendo que un borrador de aproximadamente 300M parámetros proponga un bloque de nueve tokens candidatos que el modelo objetivo verifica en un solo pase hacia adelante.