Mach-Mind-4-Flash: El modelo agénico MoE de 35B iguala a modelos más grandes mediante optimización post-entrenamiento

El informe técnico de Mach-Mind-4-Flash presenta un modelo agénico Mixture-of-Experts (MoE) de 35B parámetros con solo 3B parámetros activados. Mediante la optimización post-entrenamiento, el modelo logra un rendimiento comparable o superior al de modelos de la clase de 100B parámetros sin escalar los recursos de pre-entrenamiento.

La pipeline incluye tres etapas clave: una infraestructura RL/OPD unificada que ofrece una aceleración del entrenamiento del 17%; Multi-Teacher On-Policy Distillation (MOPD) para fusionar expertos específicos del dominio; y Hybrid Median-length Policy Optimization (HMPO), que comprime las cadenas de razonamiento entre un 19--46% con una pérdida mínima de precisión. El modelo obtiene 92.70 en AIME'26, 82.82 en IFBench, y lidera o iguala a modelos con un tamaño activado 10--30 veces mayor.

Al introducir entornos de interacción agénica escalables para el aprendizaje por refuerzo, los autores demuestran ganancias significativas de rendimiento en tareas de aplicaciones del mundo real a una fracción del costo de inferencia.