media Hugging Face Forums · há 8 h · open_models

IntelligenceLab solicita Long-Horizon-Terminal-Bench para o ranking do Hub

Traduzido do English → Português (BR)

A IntelligenceLab enviou um pedido à Hugging Face para adicionar o conjunto de dados Long-Horizon-Terminal-Bench (LHTB) à lista permitida de benchmarks. O objetivo é permitir a agregação dos resultados de avaliação da comunidade para este benchmark no Hugging Face Hub.

O LHTB consiste em 46 tarefas projetadas para testar o quão bem os agentes LLM sustentam trabalho útil em um terminal contêinerizado ao longo de centenas de etapas.
Ele utiliza verificadores ocultos que reconstruem a partir de artefatos, em vez de progresso auto-relatado, para avaliar o desempenho do agente.
As tarefas são executadas por meio da estrutura Harbor / Terminal-Bench 2.0, com um arquivo eval.yaml já presente e validado no repositório.

Importância 1/3 Confiança 1/3 Hugging Face Forums AI agents Evaluation & benchmarks

Ler original

Otimização do RELAI-VCL obtém ganhos no Terminal-Bench 2.0

Um estudo avalia se os ganhos de otimização de agentes se acumulam ao longo do tempo, testando três métodos — GEPA, Meta Harness e RELAI-VCL — nas tarefas difíceis do Terminal-Bench 2.0. Embora todos os métodos melhorem uma linha de base estática, apenas o RELAI-VCL transfere com sucesso para tarefas não vistas e continua a melhorar após rodadas subsequentes de otimização.

arxiv arXiv cs.CL · há 5 d

Teste comportamental de mudança de conjunto para agentes aproveitados

Pesquisadores introduzem um benchmark para avaliar como agentes LLM se adaptam quando a confiabilidade das ferramentas disponíveis muda silenciosamente durante uma sessão em andamento. O framework monta bibliotecas de habilidades de ferramentas com redundâncias e usa um cronograma ramificado para mudar o grupo de ferramentas confiáveis em limites ocultos.

arxiv arXiv cs.CL · há 5 d

DevicesWorld apresenta benchmark em larga escala para colaboração de agentes entre dispositivos

Pesquisadores apresentam o DevicesWorld, um benchmark executável em larga escala projetado para avaliar agentes baseados em LLM operando em ambientes heterogêneos que incluem dispositivos móveis, desktop e IoT.

arxiv arXiv cs.CL · há 5 d

RELAI-VCL compõe ganhos de agente-otimizador via aprendizado contínuo

Um estudo avalia se os ganhos impulsionados pelo otimizador se acumulam ao longo do tempo, testando três métodos de otimização de agente-harness no Terminal-Bench 2.0. A pesquisa compara GEPA, Meta Harness e RELAI's Verifiable Continual Learning (RELAI-VCL) sob orçamentos idênticos para determinar se as melhorias persistem à medida que novas tarefas aparecem.

arxiv arXiv cs.AI · há 5 d

RELAI-VCL compõe ganhos do agente-otimizador via aprendizado contínuo

Um estudo no Terminal-Bench 2.0 avalia se os ganhos da otimização de agentes se acumulam ao longo do tempo, comparando GEPA, Meta Harness e o Aprendizado Contínuo Verificável do RELAI (RELAI-VCL). A pesquisa testa se agentes otimizados podem melhorar em novas tarefas sem erosionar os ganhos anteriores.