media Hugging Face Forums · 8時間前 · open_models

IntelligenceLabがHubリーダーボードにLong-Horizon-Terminal-Benchをリクエスト

翻訳元 English → 日本語

IntelligenceLabは、Hugging Faceに対してLong-Horizon-Terminal-Bench (LHTB) データセットをベンチマークの許可リストに追加するよう申請しました。この目的は、Hugging Face Hub上でこのベンチマークに関するコミュニティの評価結果を集約できるようにすることです。

LHTBは、LLMエージェントがコンテナ化されたターミナル内で数百ステップにわたって有用な作業を維持できるかをテストするために設計された46のタスクで構成されています。
エージェントのパフォーマンスを評価するために、自己報告された進捗ではなく、アーティファクトから再構築される隠れた検証者を使用しています。
タスクはHarbor / Terminal-Bench 2.0 ハーネスを通じて実行され、リポジトリにはすでにeval.yamlファイルが存在し、検証済みです。

重要度 1/3 信頼度 1/3 Hugging Face Forums AI agents Evaluation & benchmarks

原文を読む

arxiv arXiv cs.LG · 5日前

RELAI-VCLの化合物最適化がTerminal-Bench 2.0で成果を上げる

エージェントの最適化による利益が時間とともに蓄積するかどうかを評価する研究として、Terminal-Bench 2.0の難問に対してGEPA、Meta Harness、RELAI-VCLの3つの手法がテストされました。すべての手法は静的なベースラインを上回りますが、見知らぬタスクへの転移と、その後の最適化ラウンド後の継続的な改善に成功したのはRELAI-VCLのみです。

arxiv arXiv cs.CL · 5日前

ハーネスされたエージェントのためのセットシフト行動テスト

研究者は、進行中のセッション中に利用可能なツールの信頼性が静かに変化した際に、LLMエージェントがどのように適応するかを評価するためのベンチマークを導入しました。このフレームワークは冗長性を備えたツールスキルライブラリをマウントし、隠れた境界で信頼できるツールグループをシフトするために分岐スケジュールを使用します。

arxiv arXiv cs.CL · 5日前

DevicesWorldがクロスデバイスエージェント協力のための大規模ベンチマークを導入

研究者らは、モバイル、デスクトップ、IoTデバイスを含む異種環境間で動作するLLMベースのエージェントを評価するために設計された大規模な実行可能ベンチマークであるDevicesWorldを紹介した。

arxiv arXiv cs.CL · 5日前

RELAI-VCLは継続的学習を通じてエージェントとオプティマイザーの相乗効果を強化する

本研究は、最適化駆動による利益が時間とともに蓄積されるかどうかを評価するために、Terminal-Bench 2.0で3つのエージェントハーネス最適化手法をテストしました。研究では、GEPA、Meta Harness、およびRELAIのVerifiable Continual Learning（RELAI-VCL）を同一の予算下で比較し、新しいタスクが登場した際に改善が持続するかどうかを判定します。

arxiv arXiv cs.AI · 5日前

RELAI-VCLは継続的学習によるエージェント最適化の利益を複合させる

Terminal-Bench 2.0に関する研究は、GEPA、Meta Harness、およびRELAIのVerifiable Continual Learning（RELAI-VCL）を比較することで、エージェント最適化の利益が時間とともに複合するかを評価する。この研究は、最適化されたエージェントが以前の利益を損なうことなく新しいタスクで改善できるかどうかを検証する。