lab NVIDIA Research · há 1 h · research

jlorraine apresenta ferramentas de otimização aninhada escaláveis para aprendizado profundo

Traduzido do English → Português (BR)

O artigo introduz uma tese de jlorraine que aborda os desafios de aplicar otimização bilevel ou aninhada a configurações de aprendizado profundo em larga escala. Enquanto a otimização baseada em gradiente tipicamente atualiza um único conjunto de parâmetros, muitas aplicações exigem a atualização de subconjuntos de parâmetros em diferentes objetivos aninhados uns dentro dos outros.

O trabalho foca em exemplos motivadores como otimização de hiperparâmetros e redes generativas adversariais.
Destaca que aplicar ingenuamente métodos clássicos frequentemente falha ao resolver esses problemas aninhados em escala.
A tese constrói ferramentas específicas projetadas para tornar a otimização aninhada escalável em contextos de aprendizado profundo.

Importância 1/3 Confiança 3/3 NVIDIA Research Training methods

Ler original

LLMs igualam ou superam a otimização bayesiana para otimização de hiperparâmetros

Um novo artigo explora o uso de modelos de linguagem grandes fundamentais (LLMs) para automatizar a otimização de hiperparâmetros (HPO), um processo que normalmente depende de abordagens manuais em configurações com orçamento limitado. Os autores desenvolveram uma metodologia onde os LLMs sugerem configurações de hiperparâmetros com base nas descrições do conjunto de dados e do modelo, que são então refinadas iterativamente de acordo com o desempenho do modelo.

lab NVIDIA Research · há 1 h · 27 visualizações Ao vivo

Fonte introduz diferenciação desenrolada aproximada para atribuição de dados de treinamento

Pesquisadores apresentam o Source, um novo método de atribuição de dados de treinamento (TDA) que combina a eficiência computacional das funções de influência com a precisão das abordagens baseadas em desenrolamento. Ao usar uma fórmula semelhante à função de influência para aproximar a diferenciação desenrolada, o Source aborda limitações nos métodos de diferenciação implícita, como sua falha em considerar o viés de otimização ou pipelines multiestágio.

lab NVIDIA Research · há 1 h Ao vivo

JacNet aprende funções modelando diretamente Jacobianos estruturados

O artigo apresenta o JacNet, uma arquitetura de rede neural que aprende diretamente o Jacobiano de uma função de entrada-saída em vez do mapeamento em si. Essa abordagem permite controle preciso sobre as propriedades da derivada, permitindo a imposição de priors estruturais como invertibilidade e continuidade k-Lipschitz.

arxiv arXiv cs.AI · há 7 h

MiLMMT-46-v1.0 melhora a tradução multilíngue por meio de pós-treinamento sem referência

Pesquisadores desenvolveram o MiLMMT-46-v1.0, um modelo de tradução automática multilíngue que aplica pós-treinamento sem referência em grandes modelos de linguagem de código aberto. A equipe utiliza Otimização de Política Relativa de Grupo (GRPO) com uma recompensa baseada em dois modelos de estimativa de qualidade sem referência, controlada por identificação de idioma.

arxiv arXiv cs.CL · há 8 h

MiLMMT-46-v1.0 melhora a tradução multilíngue por meio de pós-treinamento sem referência

Pesquisadores lançaram o MiLMMT-46-v1.0, um modelo de linguagem grande de código aberto para tradução automática multilíngue que utiliza pós-treinamento sem referência. Partindo do MiLMMT-46-v0.1 ajustado por supervisão, a equipe aplicou Group Relative Policy Optimization (GRPO) com uma recompensa baseada em dois modelos de estimativa de qualidade sem referência, controlados por identificação de idioma.