arxiv arXiv cs.LG · agora mesmo · research

U-OPSD permite auto-distilação on-policy não supervisionada para LLMs

Traduzido do English → Português (BR)

Pesquisadores propõem Auto-Distilação On-Policy Não Supervisionada (U-OPSD), um método que alcança melhoria no pós-treinamento para grandes modelos de linguagem usando apenas as próprias gerações do modelo, sem supervisão externa. A abordagem amostra múltiplas execuções para construir uma pseudo-solução por meio de votação majoritária, em seguida, destila a distribuição do professor nos prefixos do maior completamento incorreto do modelo.

U-OPSD melhora os modelos base em 8,5% e 10,7% no Qwen3 sem modo de raciocínio nas escalas de 4B e 8B em benchmarks como AIME24, MATH500 e AMC23.
Supera métodos supervisionados como OPSD em média 3,2% e 2,3% no modo sem raciocínio.
No modo de raciocínio, U-OPSD iguala ou supera OPSD e GRPO, superando este último em até 1,1% na escala de 8B.

Este método demonstra que a auto-distilação genuína é possível por meio da consistência interna, oferecendo uma alternativa competitiva aos sinais de treinamento supervisionado.

Importância 2/3 arXiv cs.LG Research paper Training methods

Artigos relacionados

arxiv arXiv cs.CL · há 7 d · 2 visualizações

Memory Decoder em Escala: Ampliando a memória paramétrica de longo prazo para 6,9B parâmetros

Pesquisadores apresentam o Memory Decoder at Scale, um sistema que amplia modelos de memória paramétrica de longo prazo até 6,9B parâmetros e os pré-treina em 300B tokens. Para lidar com a inviabilidade dos pipelines padrão do Faiss nessa escala de dados, os autores implementam um pipeline de indexação distribuído com carregamento esparsa e por lotes das distribuições kNN.

arxiv arXiv cs.CL · há 9 d

Relay-OPD reduz o comprimento da trajetória de treinamento em mais de 50% na destilação on-policy

Pesquisadores introduzem a Destilação On-Policy com Relay (Relay-OPD) para abordar a falha de prefixo na destilação on-policy padrão, onde os erros do estudante levam a uma supervisão não confiável. O método utiliza uma assimetria de continuação entre professor e estudante como gatilho para que o professor assuma brevemente o controle e redirecione a trajetória antes que o estudante retome.

media Hugging Face Forums · há 13 d

ThetaScan v0.1 lança memória não linear com escaneamento paralelo e resultados de LM de 17M

Um pré-lançamento de pesquisa do ThetaScan v0.1, um misturador de tokens não linear de estado fixo, foi lançado como uma implementação de código aberto. A arquitetura garante que cada token compute sua gravação de memória a partir da entrada atual e dos parâmetros compartilhados, em vez de um estado rápido em evolução, permitindo que as gravações se componham por meio de um escaneamento de prefixo associativo.

media r/LocalLLaMA · há 15 d · 1 visualização

SLAI T-Rex alcança 34,22% MFU e 71,81% Pass@1 para DeepSeek-V4 no Ascend

A SLAI apresenta o T-Rex, um framework de pós-treinamento com parâmetros completos para a família de modelos DeepSeek-V4 na infraestrutura Ascend SuperPOD. O sistema aborda a pressão de memória e a sobrecarga de comunicação em modelos MoE de trilhões de parâmetros por meio de otimização hierárquica.

arxiv arXiv cs.LG · há 22 d · 1 visualização

Expoente de Lyapunov como recompensa densa informada pela física: descoberta de estabilização por RL além do pêndulo de Kapitza

Os autores propõem usar o expoente característico de Lyapunov (LCE) como um sinal de recompensa densa para estabilizar um pêndulo invertido com movimento vertical. Essa abordagem permite que agentes de aprendizado por reforço descubram comportamentos complexos de estabilização além das soluções oscilatórias padrão.