研究者らが、コンピュータ操作エージェントの軌跡に対して審判役として機能するビジョン言語モデル（VLMs）の信頼性を評価するために設計された現実的なベンチマークであるOSRewardを紹介している。本研究では、最先端のVLMsでさえ体系的な寛容性バイアスに苦しんでおり、スケーリングには費用が高すぎる一方で、手頃な価格のオープンソースモデルは性能が劣ることが明らかになった。

  • OSRewardには、プラットフォーム間で多段階の人間注釈から導き出された正解の判定を含む多様なエージェント軌跡が含まれている。
  • このベンチマークには、困難なケース向けのOSReward-Hardと、細粒度な効率スコアリング向けのOSReward-Multiが含まれる。
  • 評価の結果、現在のVLM審判は失敗した実行を成功として誤分類しており、信頼性とコストの間にギャップが生じていることが示された。
  • これに対処するため、著者らは推論注釈付き軌跡判定のオープンコーパスであるOS-Shepherd-100Kを公開した。
  • このデータで訓練されたオープンソースのOS-Shepherdモデル（9Bおよび35B）は、コストを30〜60%削減しながら商用審判と同等の性能を発揮する。

本研究はコミュニティに対して低コストかつ安定した報酬信号を提供し、信頼性の高いコンピュータ操作評価の設計に資する広範な分析を示している。