lab NVIDIA Research · há 15 h · research

ZPPO usa prompts em vez de gradientes para melhorar o treinamento de modelos pequenos de visão e linguagem

Traduzido do English → Português (BR)

Pesquisadores introduzem a Otimização de Política na Zona Próxima (ZPPO), um método que injeta conhecimento do professor nos prompts, em vez dos gradientes da política, para lidar com a fragilidade na destilação de conhecimento e no desvio no aprendizado por reforço. A ZPPO constrói Perguntas com Candidato Binário Incluído (BCQ) e Perguntas com Candidato Negativo Incluído (NCQ) para perguntas difíceis, recirculando-as por meio de um buffer de replay até que a precisão do aluno melhore ou sejam removidas.

A ZPPO emparelha uma resposta correta do professor com uma resposta incorreta do aluno nos BCQs para forçar a discriminação, enquanto os NCQs agregam falhas do aluno para revelar modos de erro compartilhados.
O método foi testado na família Qwen3.5 nas escalas de 0,8B a 9B, usando um modelo professor de 27B.
As avaliações cobriram um conjunto de 31 benchmarks, incluindo 16 tarefas VLM, 10 LLM e 5 de vídeo.
A ZPPO superou a destilação off/on-policy e o GRPO, com os maiores ganhos observados na menor escala do modelo.

Ao manter o professor dentro do prompt em vez do gradiente da política, a ZPPO evita quebrar as suposições on-policy enquanto amplifica o aprendizado dentro da zona de desenvolvimento próximo atual do aluno.

Importância 1/3 Confiança 3/3 NVIDIA Research Research paper Training methods

Artigos relacionados

lab NVIDIA Research · há 15 h · 2 visualizações

Masters destila modelos de visão e linguagem através de mascaramento do professor e reforço do aluno

Pesquisadores propõem o Masters, um framework de aprendizado por reforço progressivo com mascaramento para destilar modelos grandes de visão e linguagem em versões compactas adequadas para implantação em dispositivos de borda. O método aborda a instabilidade causada pela lacuna de tamanho entre os modelos professor e aluno.

arxiv arXiv cs.LG · há 5 d

U-OPSD permite auto-distilação on-policy não supervisionada para LLMs

Pesquisadores propõem Auto-Distilação On-Policy Não Supervisionada (U-OPSD), um método que alcança melhoria no pós-treinamento para grandes modelos de linguagem usando apenas as próprias gerações do modelo, sem supervisão externa. A abordagem amostra múltiplas execuções para construir uma pseudo-solução por meio de votação majoritária, em seguida, destila a distribuição do professor nos prefixos do maior completamento incorreto do modelo.

arxiv arXiv cs.CL · há 12 d · 3 visualizações

Memory Decoder em Escala: Ampliando a memória paramétrica de longo prazo para 6,9B parâmetros

Pesquisadores apresentam o Memory Decoder at Scale, um sistema que amplia modelos de memória paramétrica de longo prazo até 6,9B parâmetros e os pré-treina em 300B tokens. Para lidar com a inviabilidade dos pipelines padrão do Faiss nessa escala de dados, os autores implementam um pipeline de indexação distribuído com carregamento esparsa e por lotes das distribuições kNN.

arxiv arXiv cs.CL · há 14 d

Relay-OPD reduz o comprimento da trajetória de treinamento em mais de 50% na destilação on-policy

Pesquisadores introduzem a Destilação On-Policy com Relay (Relay-OPD) para abordar a falha de prefixo na destilação on-policy padrão, onde os erros do estudante levam a uma supervisão não confiável. O método utiliza uma assimetria de continuação entre professor e estudante como gatilho para que o professor assuma brevemente o controle e redirecione a trajetória antes que o estudante retome.

media Hugging Face Forums · há 18 d

ThetaScan v0.1 lança memória não linear com escaneamento paralelo e resultados de LM de 17M

Um pré-lançamento de pesquisa do ThetaScan v0.1, um misturador de tokens não linear de estado fixo, foi lançado como uma implementação de código aberto. A arquitetura garante que cada token compute sua gravação de memória a partir da entrada atual e dos parâmetros compartilhados, em vez de um estado rápido em evolução, permitindo que as gravações se componham por meio de um escaneamento de prefixo associativo.