media r/LocalLLaMA · hace 1 h · open_models

Facebook lanza MobileMoE, una familia de modelos de lenguaje MoE para dispositivos móviles

Traducido del English → Español

Meta ha lanzado MobileMoE, una colección de modelos de lenguaje Mixture-of-Experts (MoE) para dispositivos móviles diseñados para optimizar el equilibrio entre calidad y eficiencia en dispositivos móviles. La familia incluye tres escalas de modelos con parámetros activos submilesmillonarios y huellas de peso inferiores a 3 GB en formato INT4.

Los modelos cuentan con 0.3B, 0.5B y 0.9B parámetros activos (1.3B, 2.8B y 5.3B en total), cada uno disponible en variantes Base, SFT y QAT.
MobileMoE-L-Base es el modelo preentrenado con 922M parámetros activos, 32 capas y una longitud de contexto de 8,192 tokens.
La arquitectura utiliza 60 expertos enrutados con enrutamiento top-k sigmoid y un experto compartido, admitiendo entrada y salida de texto en inglés.
Lanzado bajo la licencia FAIR NC en agosto de 2026, los modelos están alojados en Hugging Face.

Importancia 2/3 r/LocalLLaMA Meta AI Inference efficiency Open weights

Leer original

Quantization-Aware Healing recupera LLMs de 4 bits más rápido que QAT

Los autores presentan Quantization-Aware Healing (QAH), una canalización que destila estudiantes de 4 bits directamente desde modelos sin comprimir para recuperar el rendimiento perdido durante la compresión estructural y cuantización. Aplicado a GPT-OSS 120B, este método produce Hypernova-60B, que iguala o supera al bfloat16 fuente en 7 de 9 benchmarks mientras usa aproximadamente 4 veces menos memoria de peso.

arxiv arXiv cs.CL · hace 17 h · 9 vistas

Quantization-Aware Healing recupera LLMs de 4 bits más rápido que QAT

Los autores presentan Quantization-Aware Healing (QAH), un método para recuperar capacidades de razonamiento y codificación en modelos de lenguaje grandes de 4 bits estructuralmente comprimidos. A diferencia del entrenamiento consciente de la cuantización estándar que re-ajusta el modelo comprimido, QAH destila al estudiante de 4 bits directamente desde el modelo original sin comprimir.

media Hugging Face Forums · hace 2 d · 6 vistas

Xyntetik Runner entrena LoRA directamente con pesos GGUF cuantizados

Joakimpalm-Zen ha actualizado Xyntetik Runner para entrenar adaptadores LoRA directamente utilizando los mismos pesos GGUF cuantizados que sirve para inferencia, eliminando la necesidad de una copia de entrenamiento FP16 separada o un tiempo de ejecución adicional.

media MarkTechPost · hace 4 d · 11 vistas

Liquid AI lanza modelos borrador LFM2.5-DSpark para una decodificación hasta 3,18 veces más rápida

Liquid AI ha lanzado puntos de control del modelo borrador DSpark para tres modelos de su familia LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B y LFM2.5-8B-A1B. Estos generadores de borrador añaden una ruta de decodificación especulativa a los modelos objetivo existentes, permitiendo que un borrador de aproximadamente 300M parámetros proponga un bloque de nueve tokens candidatos que el modelo objetivo verifica en un solo pase hacia adelante.

lab Liquid AI · hace 4 d · 15 vistas

Liquid AI lanza modelos borrador de DSpark para LFM2.5 con el fin de acelerar la inferencia

Liquid AI ha lanzado puntos de control de modelos borrador para su familia LFM2.5, específicamente LFM2.5-1.2B-Instruct, LFM2.5-2.6B y LFM2.5-8B-A1B, que utilizan descodificación especulativa para mejorar significativamente la velocidad de inferencia sin comprometer la calidad de salida.