arxiv arXiv cs.CL · há 1 h · research

MiLMMT-46-v1.0 melhora a tradução multilíngue por meio de pós-treinamento sem referência

Traduzido do English → Português (BR)

Pesquisadores lançaram o MiLMMT-46-v1.0, um modelo de linguagem grande de código aberto para tradução automática multilíngue que utiliza pós-treinamento sem referência. Partindo do MiLMMT-46-v0.1 ajustado por supervisão, a equipe aplicou Group Relative Policy Optimization (GRPO) com uma recompensa baseada em dois modelos de estimativa de qualidade sem referência, controlados por identificação de idioma.

O modelo final é obtido por interpolação linear dos checkpoints de ajuste fino supervisionado e aprendizado por reforço.
Em 46 idiomas, o MiLMMT-46-v1.0 melhora consistentemente a qualidade da tradução em relação à sua contraparte SFT.
Ele supera fortes linhas de base abertas, incluindo Seed-X, HY-MT2 e TranslateGemma.
O modelo alcança as melhores pontuações sem referência contra sistemas proprietários como Google Translate, Gemini 3 Pro e GPT-5.
A destilação on-policy foi investigada, mas não superou a fronteira de qualidade alcançada pelo RL com interpolação de checkpoints.

Os autores lançam os modelos e o código para facilitar pesquisas futuras nesta área.

Importância 2/3 arXiv cs.CL 01.AI Tencent Research paper Training methods

Artigos relacionados

lab NVIDIA Research · há 17 h · 2 visualizações

Masters destila modelos de visão e linguagem através de mascaramento do professor e reforço do aluno

Pesquisadores propõem o Masters, um framework de aprendizado por reforço progressivo com mascaramento para destilar modelos grandes de visão e linguagem em versões compactas adequadas para implantação em dispositivos de borda. O método aborda a instabilidade causada pela lacuna de tamanho entre os modelos professor e aluno.

lab NVIDIA Research · há 17 h

ZPPO usa prompts em vez de gradientes para melhorar o treinamento de modelos pequenos de visão e linguagem

Pesquisadores introduzem a Otimização de Política na Zona Próxima (ZPPO), um método que injeta conhecimento do professor nos prompts, em vez dos gradientes da política, para lidar com a fragilidade na destilação de conhecimento e no desvio no aprendizado por reforço. A ZPPO constrói Perguntas com Candidato Binário Incluído (BCQ) e Perguntas com Candidato Negativo Incluído (NCQ) para perguntas difíceis, recirculando-as por meio de um buffer de replay até que a precisão do aluno melhore ou sejam removidas.

arxiv arXiv cs.LG · há 5 d

U-OPSD permite auto-distilação on-policy não supervisionada para LLMs

Pesquisadores propõem Auto-Distilação On-Policy Não Supervisionada (U-OPSD), um método que alcança melhoria no pós-treinamento para grandes modelos de linguagem usando apenas as próprias gerações do modelo, sem supervisão externa. A abordagem amostra múltiplas execuções para construir uma pseudo-solução por meio de votação majoritária, em seguida, destila a distribuição do professor nos prefixos do maior completamento incorreto do modelo.

arxiv arXiv cs.CL · há 12 d · 3 visualizações

Memory Decoder em Escala: Ampliando a memória paramétrica de longo prazo para 6,9B parâmetros

Pesquisadores apresentam o Memory Decoder at Scale, um sistema que amplia modelos de memória paramétrica de longo prazo até 6,9B parâmetros e os pré-treina em 300B tokens. Para lidar com a inviabilidade dos pipelines padrão do Faiss nessa escala de dados, os autores implementam um pipeline de indexação distribuído com carregamento esparsa e por lotes das distribuições kNN.

arxiv arXiv cs.CL · há 14 d

Relay-OPD reduz o comprimento da trajetória de treinamento em mais de 50% na destilação on-policy

Pesquisadores introduzem a Destilação On-Policy com Relay (Relay-OPD) para abordar a falha de prefixo na destilação on-policy padrão, onde os erros do estudante levam a uma supervisão não confiável. O método utiliza uma assimetria de continuação entre professor e estudante como gatilho para que o professor assuma brevemente o controle e redirecione a trajetória antes que o estudante retome.