OpenAI o1 在 Aider 新发布的极具挑战性的多语言编程排行榜中登顶

具有高强度推理能力的 OpenAI o1 模型在 Aider 新发布的多语言基准测试中取得了最高分，显著优于其他领先的大型语言模型。这个更新的基准测试旨在比之前的版本困难得多，以更好地区分当今最强编码模型的能力。

• 新的基准测试利用了 Exercism 中最难的 225 个练习，涵盖 C++、Go、Java、JavaScript、Python 和 Rust。
• 它排除了所有测试模型都能解决的简单问题，以在大约 5% 到 50% 之间创建更宽的分数范围。
• o1 取得了 62% 的最高分，为未来模型的进步留下了 86 个未解决的问题。
• 该基准测试旨在解决旧版仅 Python 基准测试饱和的问题，当时分数接近 80%。

作者认为这种重新校准很重要，因为它为未来的 LLM 提供了空间，并允许对顶级编码模型之间的相对性能进行更清晰的比较。