ベンチマーク · coding
Codeforces (Elo)
Codeforces (Elo) は、時間制限のあるコンテスト問題を解かせることでモデルの競技プログラミング能力を測り、その結果を Codeforces の Elo レーティング（おおよそ 0〜4000、約 2000 以上で強豪）として表します。
詳しく見る
- 例
- 典型的な問題は時間制限のあるアルゴリズム問題です。たとえば、問題の入力を読み取り、厳しい時間・メモリ制限の中で正しい答えを出力するもので、グラフ探索・動的計画法・貪欲法などの手法を使います。
- 採点方法
- 結果は 1 つの Elo 数値で、モデルが解いたコンテスト問題の数とその難易度から計算され、Codeforces が人間の競技者に用いるのと同じレーティング尺度上に置かれます。
- 検証方法
- 提出された各解答は自動で判定されます。コードはコンパイルされ、隠された一連のテストケースに対して実行され、時間・メモリ制限内で正しい出力を返した場合にのみ「正解」と見なされます。
- 重要な理由
- 多段階のアルゴリズム的推論と、制約の中で正しく効率的なコードを書く能力を反映し、モデルのコーディング力を人々がすでに理解しているレーティング尺度に対応づけます。
解説付きの例
「Codeforces (Elo)」はモデルに競技プログラミングの問題を解かせ、その実力をサイト上で人間が得るのと同じ Elo レーティングで表す。代表的なやさしい問題（Div. 2 A、約 800）：「t 個のテストが与えられ、各テストで n と配列 a_1…a_n が与えられる。1 回の操作で i≠j を選び、a_i−=1、a_j+=1 を行う。すべての要素を等しくできるなら YES を、できなければ NO を出力せよ。」入力 `2 / 3 / 1 2 3 / 2 / 1 2` に対する期待出力は `YES` の次に `NO`。ポイントは、この操作が総和 S=Σa_i を変えないことで、そのため各要素を等しく（それぞれ S/n に）できるのは n が S を割り切るとき、かつそのときに限る：[1,2,3] は和 S=6 が 3 で割り切れる → YES、一方 [1,2] は和 S=3 が 2 で割り切れない → NO。正しい提出は stdin から入力を読み、これらの答えを出力し、制限時間内にすべての隠しテストに通らなければならない。モデルの Elo は、確実に解ける問題の難易度から推定される。
このベンチマークの検証済みスコアはまだありません。