media Hugging Face Forums · 8시간 전 · open_models

IntelligenceLab, Hub 리더보드에 Long-Horizon-Terminal-Bench 요청

번역 English → 한국어

IntelligenceLab은 Hugging Face에 Long-Horizon-Terminal-Bench (LHTB) 데이터셋을 벤치마크 허용 목록에 추가해 달라고 요청했습니다. 목표는 Hugging Face Hub에서 이 벤치마크에 대한 커뮤니티 평가 결과를 집계하는 것입니다.

LHTB는 수백 단계에 걸쳐 컨테이너화된 터미널에서 유용한 작업을 잘 유지하는지 테스트하도록 설계된 46개의 작업으로 구성됩니다.
에이전트 성능을 평가하기 위해 자기 보고식 진행 상황 대신 아티팩트에서 재구성되는 숨겨진 검증자를 사용합니다.
작업은 Harbor / Terminal-Bench 2.0 하네스를 통해 실행되며, 저장소에는 이미 eval.yaml 파일이 존재하고 검증되었습니다.

중요도 1/3 신뢰도 1/3 Hugging Face Forums AI agents Evaluation & benchmarks

원문 보기

RELAI-VCL의 화합물 최적화가 Terminal-Bench 2.0에서 성과 향상

에이전트 최적화 이점이 시간이 지남에 따라 누적되는지 평가하기 위해, Terminal-Bench 2.0의 난제들에서 GEPA, Meta Harness, RELAI-VCL 세 가지 방법을 테스트했습니다. 모든 방법이 정적 기준선을 상회하지만, 미시청 작업으로의 전이와 그 후의 최적화 라운드 이후 지속적인 개선에 성공한 것은 RELAI-VCL뿐입니다.

arxiv arXiv cs.CL · 5일 전

해시된 에이전트를 위한 세트 시프트 행동 테스트

연구자들은 진행 중인 세션 중 사용 가능한 도구의 신뢰성이 조용히 변경될 때 LLM 에이전트가 어떻게 적응하는지 평가하기 위한 벤치마크를 도입했습니다. 이 프레임워크는 중복성을 갖춘 도구 스킬 라이브러리를 마운트하고 숨겨진 경계에서 신뢰할 수 있는 도구 그룹을 전환하기 위해 분기된 일정을 사용합니다.

arxiv arXiv cs.CL · 5일 전

DevicesWorld, 크로스 디바이스 에이전트 협력을 위한 대규모 벤치마크 도입

연구자들은 모바일, 데스크톱 및 IoT 장치를 포함한 이종 환경에서 작동하는 LLM 기반 에이전트를 평가하도록 설계된 대규모 실행 가능 벤치마크인 DevicesWorld를 소개했습니다.

arxiv arXiv cs.CL · 5일 전

RELAI-VCL은 지속적 학습을 통해 에이전트-최적화기 이점을 증폭시킵니다

한 연구는 최적화 기반 이점이 시간이 지남에 따라 누적되는지 평가하기 위해 Terminal-Bench 2.0에서 세 가지 에이전트-하니스 최적화 방법을 테스트했습니다. 이 연구는 동일한 예산 하에서 GEPA, Meta Harness 및 RELAI의 검증 가능한 지속적 학습(RELAI-VCL)을 비교하여 새로운 작업이 등장할 때 개선 사항이 지속되는지 확인합니다.

arxiv arXiv cs.AI · 5일 전

RELAI-VCL은 지속적 학습을 통해 에이전트 최적화 이득을 복합화합니다

Terminal-Bench 2.0에 대한 연구는 GEPA, Meta Harness 및 RELAI의 Verifiable Continual Learning(RELAI-VCL)을 비교하여 에이전트 최적화 이득이 시간이 지남에 따라 복합화되는지 평가합니다. 이 연구는 최적화된 에이전트가 이전 이득을 훼손하지 않고 새로운 작업에서 개선될 수 있는지 테스트합니다.