media Hugging Face Forums · agora mesmo · open_models

Investigando se rastros de agentes com falha podem ser usados como dados de ajuste fino

Traduzido do English → Português (BR)

O autor propõe a hipótese de que rastros de agentes que usam ferramentas e falham, como seleções incorretas de ferramentas ou argumentos malformados, podem servir como dados valiosos de ajuste fino para treinar modelos a se afastarem desses erros. O post busca feedback da comunidade sobre se o treinamento em rastros de falha corrigidos é eficaz ou prejudicial.

O autor questiona se os rastros de falha "corrigidos" são de menor qualidade porque a correção é inferida em vez de verificada.
Um desafio-chave identificado é determinar quais falhas têm correções deriváveis exclusivamente do rastro versus aquelas que exigem uma verdade fundamental externa.
O autor construiu uma ferramenta de linha de comando chamada trace2train para testar isso, detectando falhas e gerando arquivos JSONL de SFT/DPO do LLaMA-Factory.
A ferramenta ignora a geração de pares de treinamento quando a correção não pode ser derivada do rastro para evitar criar rótulos errados com confiança.

O objetivo do post é determinar se o uso de rastros de agentes com falha para ajuste fino é uma estratégia viável ou uma ideia conhecida como ruim.

Importância 1/3 Confiança 1/3 Hugging Face Forums AI agents Training methods

Artigos relacionados

lab Microsoft Research Blog · há 2 d · 2 visualizações

Microsoft Research apresenta EvoLib para aprendizado em tempo de teste com uma biblioteca em evolução

A Microsoft Research apresentou o EvoLib, um framework que permite que modelos de linguagem grandes aprendam com sua própria experiência durante a inferência, sem exigir rótulos de verdade fundamental ou feedback externo. Em vez de armazenar experiências brutas como memórias estáticas, o EvoLib as transforma em habilidades reutilizáveis e insights reflexivos que são continuamente refinados, consolidados e reponderados.

lab Microsoft Research Blog · há 2 d · 1 visualização

Microsoft lança Echoverse para treinar agentes de uso de computador

A Microsoft Research lançou o Echoverse, uma coleção de doze ambientes sintéticos profundos projetados para treinar agentes de uso de computador. A iniciativa inclui dez mundos específicos de domínio e dois mundos focados em capacidades, todos construídos para manter um estado coerente e fidelidade comportamental.

arxiv arXiv cs.CL · há 6 d

OpenForgeRL permite o treinamento de ponta a ponta de agentes baseados em harness em qualquer ambiente

O OpenForgeRL é um framework de código aberto que permite aos pesquisadores treinar agentes de IA baseados em harness de ponta a ponta usando pilhas padrão de aprendizado por reforço. Ele desacopla o treinamento da inferência ao empregar um proxy leve para registrar as chamadas do modelo como dados e um orquestrador Kubernetes para gerenciar as execuções em contêineres remotos.

arxiv arXiv cs.CL · há 9 d · 1 visualização

OpenForgeRL permite treinamento de ponta a ponta de agentes baseados em harness em qualquer ambiente

Pesquisadores apresentam o OpenForgeRL, um framework de código aberto que permite o treinamento de ponta a ponta de agentes de IA usando harnesses de inferência complexos como Claude Code e OpenClaw. O sistema desacopla o treinamento da inferência empregando um proxy leve para registrar chamadas do modelo como dados e um orquestrador Kubernetes para gerenciar implantações remotas de contêineres.

arxiv arXiv cs.AI · há 9 d · 5 visualizações

OpenForgeRL permite o treinamento de ponta a ponta de agentes baseados em harness em qualquer ambiente

O OpenForgeRL é um framework de código aberto que permite aos pesquisadores treinar agentes de IA baseados em harness de ponta a ponta usando pilhas padrão de aprendizado por reforço. Ele alcança isso desacoplando o treinamento da inferência por meio de um proxy leve que registra as chamadas do modelo como dados e um orquestrador Kubernetes que gerencia os lançamentos remotos de contêineres.