Senior SWE Benchは、現実的に未定義な機能タスクの視点を通じてソフトウェアエンジニアリング能力を評価するために設計された新しいベンチマークとして紹介されています。

このベンチマークは、実際のシニアレベルのエンジニアリング課題を反映した複雑で曖昧な要件をモデルがどのように処理するかを評価することに重点を置いています。