ベンチマーク · agentic
SWE-bench Multilingual
SWE-bench Multilingual は、AI コーディングエージェントが複数のプログラミング言語のコードリポジトリを編集して実際の GitHub issue を解決できるかを測定します。スコアは % Resolved で、300 タスクのうち修正がプロジェクト自身のテストに通る割合です。
詳しく見る
- 例
- タスクの種類：エージェントには、実在の open-source リポジトリ（例：Go、Java、Ruby のプロジェクト）のバグ報告と、修正前の commit 時点のコードベースが与えられ、記述された問題を解消するために 1 つ以上のファイルを編集する patch を生成しなければなりません（模範解答は与えられません）。
- 採点方法
- 指標は % Resolved です。300 個の各インスタンスを合格/不合格で採点し、スコアは合格した割合です。エージェントの patch を適用した後、バグを対象とする Fail-to-Pass テストがすべて通り、かつ Pass-to-Pass テスト（既存の挙動）がすべて通ったままの場合にのみ、そのインスタンスは合格します。
- 検証方法
- patch は、隔離された container 内でリポジトリのテストスイートを実行して検証されます。指定された Fail-to-Pass テストが今度は通り、すべての Pass-to-Pass テストが通り続けなければなりません。いかなる失敗・エラー・適用できない patch も、そのインスタンスを未解決とします。部分点はありません。
- 重要な理由
- Python を超えて 9 言語・42 の実在リポジトリでコーディング能力を検証し、モデルが Go、Rust、PHP などの言語では Python よりはるかに少ない issue しか解決できないことを明らかにします——言語をまたいだソフトウェア工学の汎化能力をより正直に測るテストです。
解説付きの例
課題
例示的な代表インスタンス。リポジトリ：修正前の commit 時点にある Go の文字列ユーティリティライブラリ。Issue：
Reverse() がマルチバイトの UTF-8 文字を含む文字列で panic する／文字化けした文字列を返す。Fail-to-Pass テスト TestReverseUnicode は Reverse("héllo") == "olléh" を期待します。エージェントは issue の本文とリポジトリだけを受け取り、参照 patch はありません。解答
func Reverse(s string) string {
r := []rune(s)
for i, j := 0, len(r)-1; i < j; i, j = i+1, j-1 {
r[i], r[j] = r[j], r[i]
}
return string(r)
}解説
元のコードは文字列をバイト単位で反転していたため、マルチバイトの UTF-8 rune が分割され
é のような文字が壊れます。[]rune スライスに変換して両端を入れ替えると Unicode コードポイント単位で反転できるので、Reverse("héllo") は "olléh" になります。採点：TestReverseUnicode（Fail-to-Pass）が今度は通り、container 内のすべての Pass-to-Pass テストも通り続ける場合のみ受理されます。| 日付 | モデル | スコア | ソース |
|---|---|---|---|
| 2026-07-22 | Laguna S 2.1 | 78.5% | Poolsideがオープンウェイトのエージェント型コーディングモデル「Laguna S 2.1」をリリース |
| 2026-03-27 | Composer 2 | 73.7% | Cursor、エージェント型コーディングモデルのトレーニングに関するComposer 2技術レポートを公開 |
| 2025-11-07 | Kimi K2 Thinking | 61.1% | Moonshot AIがKimi K2 Thinkingをリリース、オープンソースの1Tパラメータ推論モデル |
| 2025-07-28 | Kimi K2 | 47.3% | Moonshotが32Bの活性化パラメータを持つオープンなエージェント型MoEモデル「Kimi K2」をリリース |
| 2025-07-28 | Kimi K2 | 47.3% | Kimi K2: 1兆パラメータのオープンなMoEモデルとMuonClipオプティマイザ |
| 2025-07-11 | Kimi K2 | 47.3% | Moonshot AI、エージェント機能を持つ1TパラメータのMoEモデル「Kimi K2」をリリース |
| 2025-07-11 | Kimi K2-Instruct | 47.3% | Moonshot AI、エージェント機能を持つ1TパラメータのMoEモデル「Kimi-K2-Instruct」をリリース |