arxiv arXiv cs.CL · há 2 d · research

ROFT melhora modelos agênticos ajustando-os em explicações autogeradas

Traduzido do English → Português (BR)

Pesquisadores investigam o Retrospection-Only Fine-Tuning (ROFT), um procedimento online mínimo onde um agente gera explicações retrospectivas de suas próprias experiências e é ajustado finamente usando apenas a perda de previsão do próximo token nesses tokens de explicação. Este método não requer professor externo ou atualização de política baseada em recompensa.

Em experimentos de engenharia de software com Qwen3.5-4B, o ROFT alcançou taxas de resolução de 49,2% e 26,8% no SWE-bench Verified e Pro após 20 atualizações, superando os resultados do GRPO após 40 atualizações. A abordagem também aprende a resolver tarefas onde todas as tentativas do modelo base falharam e incentiva boas ações atribuindo crédito indiretamente.

Esses achados estabelecem retrospectivas autogeradas como alvos de treinamento úteis, demonstrando que aprender a explicar pode melhorar o aprendizado para fazer.

Importância 2/3 arXiv cs.CL AI agents Training methods

Benchmarks

Benchmark	Modelo	Pontuação
SWE-bench Verified	Qwen3.5-4B (with ROFT)	49.2%
SWE-bench Pro	Qwen3.5-4B (with ROFT)	26.8%

Ler original

VHD-Play gera ambientes de RL agêntico a partir de mecanismos resolvidos

O VHD-Play é um pipeline que gera ambientes diversos de aprendizado por reforço agêntico ao amostrar e resolver modelos matemáticos antes de renderizar seus processos de decisão como ferramentas com estado. Essa abordagem garante que dinâmicas executáveis e referências de pontuação de trajetória sejam herdadas diretamente do modelo resolvido, abordando os problemas de desalinhamento comuns em pipelines de geração existentes.

arxiv arXiv cs.CL · há 7 d · 10 visualizações

SkillGym internaliza habilidades humanas em LLMs para resolução de problemas do mundo real

Pesquisadores apresentam o SkillGym, um framework que transforma habilidades de agentes escritas por humanos em ambientes de treinamento executáveis e verificáveis para agentes de modelos de linguagem grandes. O sistema utiliza um pipeline de habilidade para tarefa para instanciar tarefas concretas e verificar resultados com verificadores baseados em código.

arxiv arXiv cs.AI · há 8 d · 17 visualizações

Gerador de Estado do Mundo alinha planos com mundos sintéticos para melhorar o sucesso do agente

O Gerador de Estado do Mundo (WSG) é um modelo que mantém os planos de agentes linguísticos alinhados às regras de seu ambiente de execução, reescrevendo estados após falhas. É treinado em 226K trajetórias extraídas de sete domínios sintéticos onde um programa aplica regras e verifica a alcançabilidade do objetivo.

media Latent Space · há 9 d · 22 visualizações

TypeSafe AI apresenta Jev, um modelo System One treinado com Aprendizado por Reforço para Decisões Calibradas

A TypeSafe AI lançou o Jev, uma nova classe de modelos "System One" projetados para ambientes de produção. O CEO da empresa e coautor do artigo InstructGPT, Diogo Almeida, argumenta que os modelos atuais de ponta priorizaram alinhamento e recusas em detrimento da confiabilidade, levando a problemas como alucinações e sycophancy.

arxiv arXiv cs.CL · há 22 d · 32 visualizações

ExecCritic usa RL específico por função para melhorar agentes de codificação por meio de reparo guiado por testes

Pesquisadores apresentam o ExecCritic, um framework que combina uma estrutura de testar-verificar-revisar com aprendizado por reforço específico por função para aprimorar agentes de codificação. O sistema separa a construção de testes do reparo do código-fonte, utilizando um agente Test para gerar testes nativos do repositório e um agente Repair para revisar o código com base no feedback de execução.