media Hugging Face Forums · hace 20 h · open_models

SplitMoE introduce enrutamiento fino de expertos para reducir la redundancia de parámetros

Traducido del English → Español

SplitMoE es una arquitectura alternativa de Mezcla de Expertos que descompone las capas de alimentación hacia adelante anchas en subcomponentes más pequeños y especializados para mejorar la flexibilidad de representación de tokens y la modularidad computacional.

Adopta una granularidad más fina que los MoEs estándar como Mixtral, permitiendo que los tokens compongan representaciones matizadas utilizando rutas de parámetros especializadas.
El enfoque divide las dimensiones ocultas de los expertos para que los tokens activen solo las subredes específicas que necesitan, lo que resulta en menos FLOPs por ruta activada.
A diferencia de DeepSeekMoE, SplitMoE explora mecanismos de división y agrupación a través de dimensiones intermedias sin forzar estrictamente rutas compartidas fijas estándar.
Se centra en una estrategia de partición optimizada para mantener el enrutamiento ligero y evitar una sobrecarga pesada de despachos.

El autor proporciona una implementación modular en PyTorch para benchmarking e invita a comentarios sobre la estabilidad del enrutamiento y el comportamiento de escalado.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Training methods

Artículos relacionados

arxiv arXiv cs.AI · hace 22 h · 11 vistas

El Generador de Estado del Mundo alinea planes con mundos sintéticos para mejorar el éxito del agente

El Generador de Estado del Mundo (WSG) es un modelo que mantiene los planes de agentes lingüísticos alineados con las reglas de su entorno de ejecución reescribiendo estados tras fracasos. Se entrena con 226K trayectorias extraídas de siete dominios sintéticos donde un programa aplica reglas y verifica la alcanzabilidad del objetivo.

arxiv arXiv cs.LG · hace 1 d · 10 vistas

Fathom-Vaidya mejora el razonamiento médico con recompensas basadas en rúbricas

Los autores presentan Fathom-Vaidya, un modelo de 30B parámetros que utiliza datos sintéticos y aprendizaje por refuerzo basado en rúbricas para mejorar el razonamiento diagnóstico y clínico en atención médica. El marco de entrenamiento primero aplica RL guiado por reglas a preguntas derivadas de MedBullets para el diagnóstico, luego utiliza 5.3k escenarios sintéticos multi-turno con rúbricas multidimensionales para tareas clínicas interactivas.

media Hugging Face Forums · hace 1 d · 7 vistas

Jen Wei depura problemas con los optimizadores Muon y Dion3 en OLMo-core

Jen Wei encontró una espiral de muerte de la tasa de aprendizaje al probar AdamW, Muon y la última implementación de Dion3 dentro de OLMo-core para una próxima charla en la Conferencia PyTorch.

arxiv arXiv cs.AI · hace 1 d · 12 vistas

Fathom-Vaidya mejora el razonamiento médico con recompensas basadas en rúbricas

Los autores presentan Fathom-Vaidya, un modelo de 30B parámetros que utiliza datos sintéticos y aprendizaje por refuerzo basado en rúbricas para mejorar tanto el razonamiento diagnóstico como el clínico en atención médica. El marco de entrenamiento primero se centra en la precisión diagnóstica utilizando preguntas derivadas de MedBullets y luego aborda interacciones clínicas multironda a través de 5.3k escenarios generados con rúbricas multidimensionales.

arxiv arXiv cs.CL · hace 1 d · 12 vistas

Fathom-Vaidya mejora el razonamiento médico con recompensas basadas en rúbricas

Los autores presentan Fathom-Vaidya, un modelo de 30B parámetros que utiliza datos sintéticos y aprendizaje por refuerzo basado en rúbricas para mejorar tanto el razonamiento diagnóstico como el clínico en el ámbito sanitario.