Benchmark · coding
Commit-0
Commit-0 mengukur apakah agen pemrograman dapat mengimplementasikan seluruh pustaka Python dari nol, hanya berbekal spesifikasinya — tanda tangan fungsi dan kelas beserta docstring plus satu set uji unit tersembunyi. Metrik utamanya adalah fraksi uji unit yang lulus.
Selengkapnya
- Contoh
- Diberikan kerangka sebuah pustaka Python nyata — setiap modul, kelas, dan fungsi hadir sebagai stub bertipe dengan docstring tetapi bertubuh kosong — implementasikan semuanya agar set uji milik pustaka itu lulus semua (misalnya, mengisi fungsi parsing, serialisasi, dan utilitas sebuah pustaka kecil berdasarkan docstring-nya).
- Penilaian
- Skor adalah tingkat kelulusan uji unit: set pytest tiap pustaka dijalankan di lingkungan terisolasi dan pustaka memperoleh fraksi uji yang lulus, diagregasi atas 54 pustaka pada benchmark. Beberapa konfigurasi juga mengharuskan kode lulus pemeriksaan lint dan tipe.
- Verifikasi
- Hasil diterima dengan menjalankan set uji tersembunyi di dalam kontainer Docker yang dapat direproduksi — pytest adalah orakelnya, jadi sebuah uji dihitung hanya bila benar-benar lulus, tanpa pencocokan dengan keluaran acuan. Jalur agen boleh beriterasi memakai umpan balik uji dan lint, tetapi penilaian akhir menjalankan ulang set uji dari checkout yang bersih.
- Mengapa penting
- Ia melampaui pembangkitan satu fungsi atau satu berkas (HumanEval, SWE-bench) menuju sintesis pustaka utuh dari spesifikasi, menguji perencanaan jangka panjang, konsistensi antarmodul, dan kemampuan memenuhi kontrak API nyata — jauh lebih dekat dengan merilis perangkat lunak sungguhan.
Contoh penyelesaian
Tugas
Sebuah stub fungsi di dalam kerangka pustaka, yang harus diimplementasikan agar uji tersembunyinya lulus:
```python
def parse_version(text: str) -> tuple[int, int, int]:
"""Parse a semantic version 'MAJOR.MINOR.PATCH' into a tuple of ints.
Raises ValueError if text is not three dot-separated integers.
"""
raise NotImplementedError
```
Solusi
```python
def parse_version(text: str) -> tuple[int, int, int]:
parts = text.split(".")
if len(parts) != 3:
raise ValueError(f"invalid version: {text!r}")
major, minor, patch = (int(p) for p in parts)
return (major, minor, patch)
```Penjelasan
Tubuh fungsi menaati kontrak docstring: memecah pada «.», menolak apa pun yang tidak tepat tiga bagian dengan ValueError, dan mengonversi tiap bagian menjadi int. Penilaian menjalankan set pytest tersembunyi milik pustaka di sandbox, dan item ini lulus hanya bila semua asersi tentang parse_version terpenuhi.
Belum ada skor terverifikasi yang dilaporkan untuk benchmark ini.