Benchmark · coding
Codeforces (Elo)
Codeforces (Elo) 通过让模型解决限时竞赛题来衡量其竞技编程能力,结果以 Codeforces Elo 评分表示(大致为 0–4000,约 2000 以上即为很强)。
了解更多
- 示例
- 典型题目是一道限时算法题——例如,读取题目的输入并在严格的时间和内存限制内输出正确答案,使用图搜索、动态规划或贪心算法等技巧。
- 评分方式
- 结果是一个 Elo 数值,根据模型解出的竞赛题数量及其难度计算得出,并映射到 Codeforces 为人类选手使用的同一评分刻度上。
- 验证方式
- 每份提交的解答都由系统自动评判:代码会被编译并在一组隐藏的测试用例上运行,只有在时间和内存限制内输出正确答案才算通过。
- 为何重要
- 它体现了多步骤的算法推理以及在约束下写出正确、高效代码的能力,并把模型的编程水平映射到人们已经熟悉的评分刻度上。
示例解析
「Codeforces (Elo)」让模型求解竞技编程题目,并用与网站上人类相同的 Elo 评分来表示其实力。一道有代表性的简单题(Div. 2 A,约 800 分):「给出 t 组测试,每组给出 n 和数组 a_1…a_n。一次操作选择 i≠j 并执行 a_i−=1、a_j+=1。如果能让所有元素相等就输出 YES,否则输出 NO。」对于输入 `2 / 3 / 1 2 3 / 2 / 1 2`,期望输出是 `YES` 然后 `NO`。关键在于该操作保持总和 S=Σa_i 不变,因此当且仅当 n 整除 S 时才能让各元素相等(每个都为 S/n):[1,2,3] 的和 S=6 能被 3 整除 → YES,而 [1,2] 的和 S=3 不能被 2 整除 → NO。正确的提交要从 stdin 读取输入、打印这些答案,并在时间限制内通过所有隐藏测试;模型的 Elo 由它能稳定解出的题目难度推算得出。
该 benchmark 暂无已验证的得分。