Model o1 dari OpenAI dengan upaya penalaran tinggi mencapai skor tertinggi di benchmark poliglot baru yang dirilis oleh Aider, secara signifikan mengungguli model bahasa besar terkemuka lainnya. Benchmark yang diperbarui ini dirancang untuk jauh lebih sulit daripada versi sebelumnya untuk membedakan kemampuan model pemrograman terkuat saat ini.
- Benchmark baru ini menggunakan 225 latihan tersulit dari Exercism di C++, Go, Java, JavaScript, Python, dan Rust.
- Ini mengecualikan masalah mudah yang dapat diselesaikan oleh semua model yang diuji untuk menciptakan rentang skor yang lebih lebar antara sekitar 5% dan 50%.
- o1 menetapkan skor tertinggi sebesar 62%, meninggalkan 86 masalah yang belum terpecahkan untuk kemajuan model di masa depan.
- Benchmark ini dirancang untuk mengatasi kejenuhan benchmark lama hanya Python di mana skor mendekati 80%.
Para penulis menganggap kalibrasi ulang ini penting karena memberikan ruang bagi LLM di masa depan dan memungkinkan perbandingan kinerja relatif yang lebih jelas di antara model pemrograman teratas.