media Hugging Face Forums · há 1 h · open_models

ThetaMem propõe elevações multiplicativas com sinal para memória de sequência de estado fixo

Traduzido do English → Português (BR)

ThetaMem é um estudo preliminar, com semente única, de um misturador recorrente que modifica o estado recorrente por meio de elevações de chave aprendidas com Hadamard ou produto externo com sinal, em vez de refinar mecanismos de portão. O autor apresenta resultados mistos em benchmarks sintéticos e busca explicitamente críticas para identificar o experimento mais barato capaz de falsear a abordagem.

No MQAR com extrapolação de comprimento 4×, o ThetaMem (externo) alcançou pontuação de 0.976 usando floats de estado central 32×, enquanto o GDN-2 com chave mais larga marcou 0.814.
O ThetaMem (Hadamard) obteve 0.668 no mesmo benchmark em comparação ao 0.567 do GDN-2.
Nos testes de recuperação difusa MAD, o ThetaMem teve desempenho inferior ao GDN-2 (perda de 0.181 contra 0.323).

O autor observa que as comparações com estado central correspondente não são pareadas por parâmetro e solicita controles mais justos envolvendo correspondência de estado, parâmetro e computação em trabalhos futuros.

Importância 1/3 Confiança 1/3 Hugging Face Forums Research paper Training methods

Artigos relacionados

lab NVIDIA Research · há 1 d · 32 visualizações

LLMs igualam ou superam a otimização bayesiana para otimização de hiperparâmetros

Um novo artigo explora o uso de modelos de linguagem grandes fundamentais (LLMs) para automatizar a otimização de hiperparâmetros (HPO), um processo que normalmente depende de abordagens manuais em configurações com orçamento limitado. Os autores desenvolveram uma metodologia onde os LLMs sugerem configurações de hiperparâmetros com base nas descrições do conjunto de dados e do modelo, que são então refinadas iterativamente de acordo com o desempenho do modelo.

lab NVIDIA Research · há 1 d · 32 visualizações

Fonte introduz diferenciação desenrolada aproximada para atribuição de dados de treinamento

Pesquisadores apresentam o Source, um novo método de atribuição de dados de treinamento (TDA) que combina a eficiência computacional das funções de influência com a precisão das abordagens baseadas em desenrolamento. Ao usar uma fórmula semelhante à função de influência para aproximar a diferenciação desenrolada, o Source aborda limitações nos métodos de diferenciação implícita, como sua falha em considerar o viés de otimização ou pipelines multiestágio.

lab NVIDIA Research · há 1 d · 5 visualizações

JacNet aprende funções modelando diretamente Jacobianos estruturados

O artigo apresenta o JacNet, uma arquitetura de rede neural que aprende diretamente o Jacobiano de uma função de entrada-saída em vez do mapeamento em si. Essa abordagem permite controle preciso sobre as propriedades da derivada, permitindo a imposição de priors estruturais como invertibilidade e continuidade k-Lipschitz.

arxiv arXiv cs.CL · há 2 d · 1 visualização

MiLMMT-46-v1.0 melhora a tradução multilíngue por meio de pós-treinamento sem referência

Pesquisadores lançaram o MiLMMT-46-v1.0, um modelo de linguagem grande de código aberto para tradução automática multilíngue que utiliza pós-treinamento sem referência. Partindo do MiLMMT-46-v0.1 ajustado por supervisão, a equipe aplicou Group Relative Policy Optimization (GRPO) com uma recompensa baseada em dois modelos de estimativa de qualidade sem referência, controlados por identificação de idioma.

lab NVIDIA Research · há 2 d · 6 visualizações

Masters destila modelos de visão e linguagem através de mascaramento do professor e reforço do aluno

Pesquisadores propõem o Masters, um framework de aprendizado por reforço progressivo com mascaramento para destilar modelos grandes de visão e linguagem em versões compactas adequadas para implantação em dispositivos de borda. O método aborda a instabilidade causada pela lacuna de tamanho entre os modelos professor e aluno.