media r/LocalLLaMA · hace 45 d · open_models

Bonsai 27B: el primer modelo de clase 27B que funciona en un teléfono

Traducido del English → Español

El artículo presenta Bonsai 27B, descrito como el primer modelo de su clase capaz de ejecutarse en un teléfono móvil.

No se proporcionan más detalles ni características específicas en el texto original.

Importancia 1/3 r/LocalLLaMA Inference efficiency Open weights

Quantization-Aware Healing: un modelo comprimido de 4 bits que supera a su original de precisión completa

El artículo presenta Quantization-Aware Healing, un método para crear un modelo comprimido de 4 bits que logra un rendimiento superior al de su original de precisión completa.

media r/LocalLLaMA · hace 4 d · 5 vistas

Facebook lanza MobileMoE, una familia de modelos de lenguaje MoE para dispositivos móviles

Meta ha lanzado MobileMoE, una colección de modelos de lenguaje Mixture-of-Experts (MoE) para dispositivos móviles diseñados para optimizar el equilibrio entre calidad y eficiencia en dispositivos móviles. La familia incluye tres escalas de modelos con parámetros activos submilesmillonarios y huellas de peso inferiores a 3 GB en formato INT4.

arxiv arXiv cs.LG · hace 5 d · 14 vistas

Quantization-Aware Healing recupera LLMs de 4 bits más rápido que QAT

Los autores presentan Quantization-Aware Healing (QAH), una canalización que destila estudiantes de 4 bits directamente desde modelos sin comprimir para recuperar el rendimiento perdido durante la compresión estructural y cuantización. Aplicado a GPT-OSS 120B, este método produce Hypernova-60B, que iguala o supera al bfloat16 fuente en 7 de 9 benchmarks mientras usa aproximadamente 4 veces menos memoria de peso.

arxiv arXiv cs.CL · hace 5 d · 14 vistas

Quantization-Aware Healing recupera LLMs de 4 bits más rápido que QAT

Los autores presentan Quantization-Aware Healing (QAH), un método para recuperar capacidades de razonamiento y codificación en modelos de lenguaje grandes de 4 bits estructuralmente comprimidos. A diferencia del entrenamiento consciente de la cuantización estándar que re-ajusta el modelo comprimido, QAH destila al estudiante de 4 bits directamente desde el modelo original sin comprimir.

media Hugging Face Forums · hace 6 d · 6 vistas

Xyntetik Runner entrena LoRA directamente con pesos GGUF cuantizados

Joakimpalm-Zen ha actualizado Xyntetik Runner para entrenar adaptadores LoRA directamente utilizando los mismos pesos GGUF cuantizados que sirve para inferencia, eliminando la necesidad de una copia de entrenamiento FP16 separada o un tiempo de ejecución adicional.