lab NVIDIA Research · há 14 h · research

Masters destila modelos de visão e linguagem através de mascaramento do professor e reforço do aluno

Traduzido do English → Português (BR)

Pesquisadores propõem o Masters, um framework de aprendizado por reforço progressivo com mascaramento para destilar modelos grandes de visão e linguagem em versões compactas adequadas para implantação em dispositivos de borda. O método aborda a instabilidade causada pela lacuna de tamanho entre os modelos professor e aluno.

O Masters mascara os pesos não dominantes do professor para reduzir a complexidade, depois restaura progressivamente a capacidade durante o treinamento para permitir um aprendizado mais suave.
Ele integra uma etapa de RL offline usando respostas pré-geradas de professores mascarados, evitando o custo computacional dos paradigmas de pensar-responder online.
O framework emprega duas recompensas complementares: uma recompensa de precisão para a correção da resposta e uma recompensa de destilação que quantifica a facilidade de transferência.

Esta abordagem permite que os alunos alcancem um desempenho sólido aproveitando uma orientação rica, porém eficiente, sem exigir processos longos de geração de respostas.

Importância 1/3 Confiança 3/3 NVIDIA Research Research paper Training methods

Artigos relacionados

lab NVIDIA Research · há 15 h

ZPPO usa prompts em vez de gradientes para melhorar o treinamento de modelos pequenos de visão e linguagem

Pesquisadores introduzem a Otimização de Política na Zona Próxima (ZPPO), um método que injeta conhecimento do professor nos prompts, em vez dos gradientes da política, para lidar com a fragilidade na destilação de conhecimento e no desvio no aprendizado por reforço. A ZPPO constrói Perguntas com Candidato Binário Incluído (BCQ) e Perguntas com Candidato Negativo Incluído (NCQ) para perguntas difíceis, recirculando-as por meio de um buffer de replay até que a precisão do aluno melhore ou sejam removidas.

arxiv arXiv cs.LG · há 5 d

U-OPSD permite auto-distilação on-policy não supervisionada para LLMs

Pesquisadores propõem Auto-Distilação On-Policy Não Supervisionada (U-OPSD), um método que alcança melhoria no pós-treinamento para grandes modelos de linguagem usando apenas as próprias gerações do modelo, sem supervisão externa. A abordagem amostra múltiplas execuções para construir uma pseudo-solução por meio de votação majoritária, em seguida, destila a distribuição do professor nos prefixos do maior completamento incorreto do modelo.

arxiv arXiv cs.CL · há 12 d · 3 visualizações

Memory Decoder em Escala: Ampliando a memória paramétrica de longo prazo para 6,9B parâmetros

Pesquisadores apresentam o Memory Decoder at Scale, um sistema que amplia modelos de memória paramétrica de longo prazo até 6,9B parâmetros e os pré-treina em 300B tokens. Para lidar com a inviabilidade dos pipelines padrão do Faiss nessa escala de dados, os autores implementam um pipeline de indexação distribuído com carregamento esparsa e por lotes das distribuições kNN.

arxiv arXiv cs.CL · há 14 d

Relay-OPD reduz o comprimento da trajetória de treinamento em mais de 50% na destilação on-policy

Pesquisadores introduzem a Destilação On-Policy com Relay (Relay-OPD) para abordar a falha de prefixo na destilação on-policy padrão, onde os erros do estudante levam a uma supervisão não confiável. O método utiliza uma assimetria de continuação entre professor e estudante como gatilho para que o professor assuma brevemente o controle e redirecione a trajetória antes que o estudante retome.

media Hugging Face Forums · há 18 d

ThetaScan v0.1 lança memória não linear com escaneamento paralelo e resultados de LM de 17M

Um pré-lançamento de pesquisa do ThetaScan v0.1, um misturador de tokens não linear de estado fixo, foi lançado como uma implementação de código aberto. A arquitetura garante que cada token compute sua gravação de memória a partir da entrada atual e dos parâmetros compartilhados, em vez de um estado rápido em evolução, permitindo que as gravações se componham por meio de um escaneamento de prefixo associativo.