Benchmark · coding

RepoBench

0 hasil 0 model

RepoBench adalah benchmark pelengkapan otomatis kode tingkat repositori untuk Python dan Java yang mengukur apakah suatu sistem dapat memprediksi baris kode berikutnya dengan menggunakan konteks dalam-berkas maupun konteks lintas-berkas dari berkas lain dalam repositori yang sama. Terdiri dari tiga tugas — pengambilan (RepoBench-R), pelengkapan baris berikutnya (RepoBench-C), dan pipeline ujung-ke-ujung (RepoBench-P) — dinilai terutama dengan Exact Match dan Edit Similarity, serta akurasi pengambilan untuk tugas pengambilan.

Selengkapnya

Contoh: Diberi baris-baris sebelumnya dari sebuah berkas sumber ditambah cuplikan kode yang diambil dari berkas lain dalam repositori yang sama (misalnya modul yang mendefinisikan fungsi atau kelas pembantu), prediksi satu-satunya baris kode berikutnya — biasanya baris yang memanggil atau merujuk sesuatu yang didefinisikan di berkas lain.
Penilaian: Pelengkapan (RepoBench-C dan -P): baris berikutnya yang diprediksi dibandingkan dengan baris acuan melalui Exact Match (persentase baris yang persis identik) dan Edit Similarity (skor 0–100 = 1 − jarak edit Levenshtein ternormalisasi); CodeBLEU juga dilaporkan. Pengambilan (RepoBench-R): accuracy@k — proporsi item yang cuplikan lintas-berkas acuannya berada di antara k kandidat teratas yang diambil.
Verifikasi: Penilaian bersifat otomatis dan berbasis acuan (tanpa eksekusi kode): baris keluaran model dinormalkan lalu dicocokkan sebagai string dengan baris berikutnya yang sebenarnya yang disisihkan dari repositori asli. Di bawah Exact Match, sebuah pelengkapan dihitung benar hanya jika identik karakter demi karakter dengan baris acuan; Edit Similarity memberi nilai parsial; sebuah pengambilan diterima ketika cuplikan acuan muncul di antara k teratas.
Mengapa penting: Asisten kode nyata harus bernalar atas seluruh repositori, bukan hanya berkas yang terbuka. RepoBench mengisolasi pemodelan konteks lintas-berkas — mengambil konteks yang tepat dan memprediksi baris berikutnya yang bergantung padanya — sehingga menjadi tempat uji standar bagi model kode yang sadar-repositori dan berkonteks panjang.

Contoh penyelesaian

Tugas

Konteks lintas-berkas (helpers/formatting.py): def to_title(text): return text.strip().title() Konteks dalam-berkas (report.py): from helpers.formatting import to_title def make_heading(raw): Prediksi baris berikutnya.

Solusi

return to_title(raw)

Penjelasan

Baris berikutnya yang disisihkan memanggil to_title — fungsi pembantu yang didefinisikan dalam cuplikan lintas-berkas dan diimpor di bagian atas — pada argumen fungsi, yang persis seperti yang dilakukan kode repositori asli di sini; model yang mengabaikan berkas lain tidak akan tahu bahwa to_title adalah panggilan yang benar. Penilaian: Exact Match terhadap baris acuan, dengan Edit Similarity memberi nilai parsial untuk kecocokan yang mendekati.

Belum ada skor terverifikasi yang dilaporkan untuk benchmark ini.