media Hugging Face Forums · há 20 h · open_models

SplitMoE introduz roteamento fino de especialistas para reduzir a redundância de parâmetros

Traduzido do English → Português (BR)

SplitMoE é uma arquitetura alternativa de Mixture of Experts que divide camadas feed-forward largas em subcomponentes menores e especializados para melhorar a flexibilidade da representação de tokens e a modularidade computacional.

Adota granularidade mais fina do que MoEs padrão como Mixtral, permitindo que os tokens componham representações matizadas usando caminhos de parâmetros especializados.
A abordagem fatia as dimensões ocultas dos especialistas para que os tokens ativem apenas as sub-redes específicas que precisam, resultando em menos FLOPs por caminho ativado.
Diferente do DeepSeekMoE, o SplitMoE explora mecanismos de divisão e agrupamento através de dimensões intermediárias sem forçar estritamente caminhos compartilhados fixos padrão.
Foca em uma estratégia de particionamento simplificada para manter o roteamento leve e evitar sobrecarga pesada de despacho.

O autor fornece uma implementação modular em PyTorch para benchmarking e convida feedback sobre estabilidade de roteamento e comportamento de escalonamento.

Importância 1/3 Confiança 1/3 Hugging Face Forums Training methods

Artigos relacionados

arxiv arXiv cs.AI · há 22 h · 11 visualizações

Gerador de Estado do Mundo alinha planos com mundos sintéticos para melhorar o sucesso do agente

O Gerador de Estado do Mundo (WSG) é um modelo que mantém os planos de agentes linguísticos alinhados às regras de seu ambiente de execução, reescrevendo estados após falhas. É treinado em 226K trajetórias extraídas de sete domínios sintéticos onde um programa aplica regras e verifica a alcançabilidade do objetivo.

arxiv arXiv cs.LG · há 1 d · 10 visualizações

Fathom-Vaidya melhora o raciocínio médico com recompensas baseadas em rubricas

Os autores apresentam o Fathom-Vaidya, um modelo de 30B parâmetros que utiliza dados sintéticos e aprendizado por reforço baseado em rubricas para aprimorar o raciocínio diagnóstico e clínico na saúde. A estrutura de treinamento primeiro aplica RL guiado por regras a perguntas derivadas do MedBullets para diagnóstico, depois utiliza 5.3k cenários sintéticos multi-turno com rubricas multidimensionais para tarefas clínicas interativas.

media Hugging Face Forums · há 1 d · 7 visualizações

Jen Wei depura problemas com os otimizadores Muon e Dion3 no OLMo-core

Jen Wei encontrou uma espiral de morte da taxa de aprendizado ao testar AdamW, Muon e a implementação mais recente do Dion3 dentro do OLMo-core para uma próxima palestra na Conferência PyTorch.

arxiv arXiv cs.AI · há 1 d · 12 visualizações

Fathom-Vaidya melhora o raciocínio médico com recompensas baseadas em rubricas

Os autores apresentam o Fathom-Vaidya, um modelo de 30B parâmetros que utiliza dados sintéticos e aprendizado por reforço baseado em rubricas para aprimorar tanto o raciocínio diagnóstico quanto o clínico na saúde. A estrutura de treinamento primeiro visa a precisão diagnóstica usando perguntas derivadas do MedBullets e depois aborda interações clínicas multironda através de 5.3k cenários gerados com rubricas multidimensionais.

arxiv arXiv cs.CL · há 1 d · 12 visualizações

Fathom-Vaidya melhora o raciocínio médico com recompensas baseadas em rubricas

Os autores apresentam o Fathom-Vaidya, um modelo de 30B parâmetros que utiliza dados sintéticos e aprendizado por reforço baseado em rubricas para aprimorar tanto o raciocínio diagnóstico quanto o clínico na saúde.