Benchmark · coding

DS-1000

0 hasil 0 model

DS-1000 adalah benchmark berisi 1000 soal pemrograman data science nyata yang dikumpulkan dari Stack Overflow dan mencakup tujuh pustaka Python (NumPy, Pandas, SciPy, scikit-learn, PyTorch, TensorFlow, Matplotlib); ia mengukur apakah sebuah model menghasilkan kode yang menyelesaikan setiap soal dengan benar, dilaporkan sebagai akurasi eksekusi pass@1.

Selengkapnya

Contoh: Item yang mewakili adalah pertanyaan berbahasa alami tentang cara melakukan sesuatu dengan pustaka tertentu — misalnya memfilter atau membentuk ulang DataFrame Pandas, operasi pada array NumPy, atau plot Matplotlib — disertai konteks kode awal yang harus dilengkapi oleh model (tersedia dalam format Completion dan Insertion).
Penilaian: Metriknya adalah akurasi eksekusi pass@1. Setiap solusi yang dihasilkan dijalankan terhadap test case tersembunyi dan dihitung terselesaikan hanya jika lolos semua tes DAN memenuhi batasan surface-form (pemeriksaan regex bahwa API yang diperlukan dipakai dan jalan pintas terlarang tidak). Skornya adalah fraksi dari 1000 soal yang terselesaikan.
Verifikasi: Penerimaan sepenuhnya otomatis: program yang telah dilengkapi dijalankan dalam sandbox dan keluarannya diperiksa kebenaran fungsionalnya terhadap test case, digabung dengan batasan surface-form. Pemeriksaan multi-kriteria ini dirancang agar tingkat salah-terima dan salah-tolak tetap rendah, dan soal-soalnya diubah (perturb) dari aslinya di Stack Overflow untuk mengurangi hafalan.
Mengapa penting: Ia menangkap kebutuhan pemrograman data science yang realistis dan sehari-hari alih-alih teka-teki sintetis, mencakup tujuh pustaka yang banyak dipakai, dan penilaiannya yang andal berbasis eksekusi menjadikannya tolok ukur umum untuk mengevaluasi model pembangkitan kode pada pekerjaan DS praktis.

Contoh penyelesaian

Tugas

Soal: diberikan sebuah DataFrame Pandas df dengan kolom numerik 'value', hasilkan sebuah DataFrame yang hanya berisi baris yang 'value'-nya lebih besar dari rata-rata kolom. <code> import pandas as pd df = pd.DataFrame({'value': [1, 5, 3, 9, 2]}) </code> BEGIN SOLUTION — tetapkan jawaban ke result. (Ilustrasi, bukan item resmi kata demi kata.)

Solusi

result = df[df['value'] > df['value'].mean()]

Penjelasan

Masking boolean menyimpan baris di mana 'value' melebihi df['value'].mean(); harness menjalankan skrip yang telah dilengkapi dan membandingkan result dengan DataFrame yang diharapkan (misalnya dengan utilitas pengujian pandas), sementara batasan surface-form memastikan ini solusi Pandas yang sungguhan. Dinilai lulus/gagal berdasarkan eksekusi.

Belum ada skor terverifikasi yang dilaporkan untuk benchmark ini.