media Hugging Face Forums · 8 jam lalu · open_models

IntelligenceLab meminta Long-Horizon-Terminal-Bench untuk papan peringkat Hub

Diterjemahkan dari English → Bahasa Indonesia

IntelligenceLab telah mengajukan permintaan kepada Hugging Face untuk menambahkan dataset Long-Horizon-Terminal-Bench (LHTB) ke daftar izin benchmark. Tujuannya adalah memungkinkan agregasi hasil evaluasi komunitas untuk benchmark ini di Hugging Face Hub.

LHTB terdiri dari 46 tugas yang dirancang untuk menguji seberapa baik agen LLM mempertahankan pekerjaan yang berguna dalam terminal terkontainerisasi selama ratusan langkah.
Ini memanfaatkan pemverifikasi tersembunyi yang dibangun ulang dari artefak alih-alih kemajuan yang dilaporkan sendiri untuk menilai kinerja agen.
Tugas-tugas dijalankan melalui harness Harbor / Terminal-Bench 2.0, dengan file eval.yaml sudah ada dan tervalidasi di repositori.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums AI agents Evaluation & benchmarks

Baca aslinya

Optimisasi senyawa RELAI-VCL meraih peningkatan pada Terminal-Bench 2.0

Sebuah studi mengevaluasi apakah peningkatan optimisasi agen terakumulasi seiring waktu dengan menguji tiga metode—GEPA, Meta Harness, dan RELAI-VCL—pada tugas-tugas sulit Terminal-Bench 2.0. Meskipun semua metode meningkatkan baseline statis, hanya RELAI-VCL yang berhasil bertransisi ke tugas yang belum pernah dilihat dan terus meningkat setelah putaran optimisasi berikutnya.

arxiv arXiv cs.CL · 5 hari lalu

Uji Perilaku Pergeseran Set untuk Agen yang Dikendalikan

Para peneliti memperkenalkan sebuah benchmark untuk mengevaluasi bagaimana agen LLM beradaptasi ketika keandalan alat yang tersedia berubah secara diam-diam selama sesi yang sedang berlangsung. Kerangka kerja memuat pustaka keterampilan-alat dengan redundansi dan menggunakan jadwal bercabang untuk menggeser kelompok alat yang andal pada batas-batas tersembunyi.

arxiv arXiv cs.CL · 5 hari lalu

DevicesWorld memperkenalkan benchmark skala besar untuk kolaborasi agen lintas perangkat

Para peneliti memperkenalkan DevicesWorld, sebuah benchmark eksekusi skala besar yang dirancang untuk mengevaluasi agen berbasis LLM yang beroperasi di lingkungan heterogen termasuk perangkat seluler, desktop, dan IoT.

arxiv arXiv cs.CL · 5 hari lalu

RELAI-VCL menggandakan keuntungan agen-pengoptimal melalui pembelajaran berkelanjutan

Sebuah studi mengevaluasi apakah keuntungan yang didorong oleh pengoptimal bertambah seiring waktu dengan menguji tiga metode optimasi harness agen pada Terminal-Bench 2.0. Penelitian ini membandingkan GEPA, Meta Harness, dan Pembelajaran Berkelanjutan Terverifikasi (RELAI-VCL) dari RELAI di bawah anggaran yang identik untuk menentukan apakah peningkatan bertahan saat tugas baru muncul.

arxiv arXiv cs.AI · 5 hari lalu

RELAI-VCL menggandakan keuntungan agen-optimizer melalui pembelajaran berkelanjutan

Sebuah studi pada Terminal-Bench 2.0 mengevaluasi apakah keuntungan pengoptimalan agen terakumulasi seiring waktu dengan membandingkan GEPA, Meta Harness, dan Pembelajaran Berkelanjutan yang Dapat Diverifikasi (RELAI-VCL) dari RELAI. Penelitian ini menguji apakah agen yang dioptimalkan dapat meningkatkan kinerja pada tugas baru tanpa mengurangi keuntungan sebelumnya.