arxiv arXiv cs.AI · há 1 d · research

Harness Continual Learning adapta o estado do agente fora dos parâmetros congelados do modelo

Traduzido do English → Português (BR)

Os autores introduzem o Harness Continual Learning (HCL), um paradigma onde um agente melhora evoluindo seu harness voltado à execução em vez de atualizar os parâmetros do modelo. Esta abordagem aborda o desafio de reter o comportamento previamente adquirido enquanto se adapta a novas experiências por meio de componentes como prompts, memórias e regras de roteamento.

O HCL utiliza quatro componentes: Task Interface, Experience Memory, Capability Map e Adaptive Router.
A evolução do harness protegido separa a geração de atualizações do compromisso do estado usando um Continual Optimizer e Evaluator.
Experimentos mostram ganhos relativos superiores a 10% em relação às linhas de base em raciocínio textual, percepção multimodal e interação em mundo aberto.
Varreduras de retenção controladas revelam esquecimento mensurável ao nível do harness e permitem o ajuste explícito da compensação entre estabilidade e plasticidade.

Este método permite a acumulação de capacidades e recuperação de falhas sem interromper o comportamento adquirido anteriormente, mantendo o modelo base congelado.

Importância 2/3 Novo ambiente de avaliação com diferenciais arXiv cs.AI Research paper Training methods

Artigos relacionados

media r/LocalLLaMA · há 2 d · 9 visualizações

Z.ai escala o pós-treinamento do GLM-5.3 para melhorar o raciocínio de longo prazo

A Z.ai lançou o GLM-5.3, um experimento controlado que demonstra que escalar o pós-treinamento gera ganhos significativos no raciocínio de longo prazo sem alterar o modelo base ou a contagem de parâmetros.

media Hugging Face Forums · há 8 d · 18 visualizações

ThetaMem propõe elevações multiplicativas com sinal para memória de sequência de estado fixo

ThetaMem é um estudo preliminar, com semente única, de um misturador recorrente que modifica o estado recorrente por meio de elevações de chave aprendidas com Hadamard ou produto externo com sinal, em vez de refinar mecanismos de portão. O autor apresenta resultados mistos em benchmarks sintéticos e busca explicitamente críticas para identificar o experimento mais barato capaz de falsear a abordagem.

lab NVIDIA Research · há 9 d · 61 visualizações

LLMs igualam ou superam a otimização bayesiana para otimização de hiperparâmetros

Um novo artigo explora o uso de modelos de linguagem grandes fundamentais (LLMs) para automatizar a otimização de hiperparâmetros (HPO), um processo que normalmente depende de abordagens manuais em configurações com orçamento limitado. Os autores desenvolveram uma metodologia onde os LLMs sugerem configurações de hiperparâmetros com base nas descrições do conjunto de dados e do modelo, que são então refinadas iterativamente de acordo com o desempenho do modelo.

lab NVIDIA Research · há 9 d · 56 visualizações

Fonte introduz diferenciação desenrolada aproximada para atribuição de dados de treinamento

Pesquisadores apresentam o Source, um novo método de atribuição de dados de treinamento (TDA) que combina a eficiência computacional das funções de influência com a precisão das abordagens baseadas em desenrolamento. Ao usar uma fórmula semelhante à função de influência para aproximar a diferenciação desenrolada, o Source aborda limitações nos métodos de diferenciação implícita, como sua falha em considerar o viés de otimização ou pipelines multiestágio.

lab NVIDIA Research · há 9 d · 25 visualizações

JacNet aprende funções modelando diretamente Jacobianos estruturados

O artigo apresenta o JacNet, uma arquitetura de rede neural que aprende diretamente o Jacobiano de uma função de entrada-saída em vez do mapeamento em si. Essa abordagem permite controle preciso sobre as propriedades da derivada, permitindo a imposição de priors estruturais como invertibilidade e continuidade k-Lipschitz.