arxiv arXiv cs.CL · há 1 h · research

Relay-OPD reduz o comprimento da trajetória de treinamento em mais de 50% na destilação on-policy

Traduzido do English → Português (BR)

Pesquisadores introduzem a Destilação On-Policy com Relay (Relay-OPD) para abordar a falha de prefixo na destilação on-policy padrão, onde os erros do estudante levam a uma supervisão não confiável. O método utiliza uma assimetria de continuação entre professor e estudante como gatilho para que o professor assuma brevemente o controle e redirecione a trajetória antes que o estudante retome.

Utiliza um professor Qwen3-4B-Instruct-2507 com estudantes Qwen3-0.6B/1.7B-Non-Thinking em oito benchmarks de raciocínio matemático.
Alcança os melhores ou segundos melhores resultados em todos os benchmarks, superando a OPD padrão em +5,73% e o FastOPD em +1,49% em média para o modelo de 1,7B.
Ganhos consistentes são observados na escala de 0,6B, enquanto o comprimento da trajetória de treinamento é reduzido em mais de 50%.

Esta abordagem concentra a intervenção nas posições iniciais críticas por meio de um orçamento limitado de relay, limitando o desvio da política do estudante enquanto melhora significativamente a eficiência e a precisão.

Importância 2/3 arXiv cs.CL Alibaba (Qwen) Research paper Training methods

Artigos relacionados

arxiv arXiv cs.CL · há 13 d

Alinhamento pós-treinamento de pequenos modelos de linguagem baseados em Qwen para geração de bulas de medicamentos

Um estudo compara métodos pós-treinamento, incluindo ajuste fino supervisionado (SFT), otimização direta de preferências (DPO), otimização de preferências por razão de chances (ORPO) e otimização relativa de política em grupo (GRPO) em pequenos modelos de linguagem baseados em Qwen para geração de texto a partir de dados biomédicos.

arxiv arXiv cs.CL · há 15 d

UMoE realinha pools de especialistas MoE para ajuste fino específico de domínio aprimorado

Pesquisadores propõem o UMoE, um pipeline que realinha o pool de especialistas de modelos Mixture-of-Experts para um domínio alvo antes do ajuste fino supervisionado. O método poda especialistas de baixa saliência e regenera o pool por expansão baseada em perturbação enquanto preserva as contagens originais de parâmetros e os custos de inferência.

arxiv arXiv cs.CL · há 19 d

Adaptação do Qwen-ASR guiada por diarização para fala conversacional multilíngue de dois falantes

Este artigo descreve um sistema para o Desafio MLC-SLM 2026 que combina uma frente modular de diarização de falantes com um reconhecedor Qwen3-ASR-1.7B adaptado ao desafio.

arxiv arXiv cs.CL · há 21 d · 2 visualizações

Estudo com backbone congelado descobre que a eficácia da adaptação de domínio depende do conhecimento prévio do domínio-alvo

Um estudo de caso avaliando backbones de embedding congelados como Qwen3-Embedding, RoBERTa-base e FinBERT revela que o benefício da adaptação explícita de domínio varia significativamente com base no conhecimento prévio do modelo. A pesquisa treinou adaptadores MLP leves usando Redes Neurais Adversariais de Domínio (DANN), Discrepância de Média Quadrática (MMD) e Aprendizado Contrastivo Supervisionado (SCL) para transferir análise de sentimento de avaliações de consumidores para avaliações de filmes (SST-2) e notícias financeiras.

arxiv arXiv cs.CL · há 22 d · 1 visualização

Estudo descobre que modelos de linguagem alinhados se comprometem temporariamente com respostas erradas antes da correção tardia

Um estudo de 17 modelos em três famílias revela que modelos de linguagem alinhados frequentemente se comprometem temporariamente com respostas incorretas nas camadas intermediárias (25-90% de profundidade) antes de serem corrigidos por mecanismos de camadas tardias. Essa "queda errada" é verificada causalmente através do transplante de ativação e varia significativamente com base nas receitas de alinhamento e na escala do modelo.