ScottRBKは、LLMおよびそれらが動作するエージェント型CLIハーネスの両方に対して個人用の評価を生成するために設計されたツールであるeval-harnessをリリースしました。このプロジェクトは、一般的なベンチマークや直感に依存するのではなく、実際の使用コンテキストでモデルのパフォーマンスを評価する必要性に対応しています。

  • リポジトリには、公開データセットとは別に保持されるプライベートな評価リストを作成できる機能があります。
  • モデルとハーネスの評価に関する異なるパターンを示す例付きの評価が含まれています。
  • CLIエージェントがこれらの評価を生成するのに役立つ一連のスキルが提供されていますが、著者はそれらが壊れやすい可能性があることを指摘しています。
  • このツールは、経験的なデータに基づいてqwen3.6-27bのようなローカルモデルとクラウドモデルの間で切り替える時期をユーザーが判断するのを支援することを目指しています。

このフレームワークは、特定のエージェント環境での能力をテストするための構造化された方法を提供することで、プロフェッショナルなワークフローにおけるモデル選択に関する意思決定を支援します。