Benchmark · agentic
SWE-Lancer
SWE-Lancer adalah benchmark berisi 1.488 tugas rekayasa perangkat lunak freelance nyata dari Upwork, bernilai 1 juta dolar AS (USD) dalam pembayaran nyata; ia mengukur berapa banyak uang itu yang bisa «diperoleh» sebuah model dengan menyelesaikannya sepenuhnya, dinilai sebagai total USD yang diperoleh (dan proporsi tugas yang terselesaikan).
Selengkapnya
- Contoh
- Sebuah tugas perbaikan bug gaya freelance: diberikan sebuah issue nyata (bergaya GitHub) dan repository lengkap aplikasi, model harus menghasilkan patch yang membuat alur pengguna yang rusak berfungsi kembali (misalnya layar bagi tagihan atau pembayaran), diverifikasi dengan pengujian end-to-end. Jalur kedua memberi tugas manajemen: memilih proposal rekayasa terbaik di antara beberapa pilihan.
- Penilaian
- Setiap tugas membawa harga USD nyata yang dibayarkan untuknya di Upwork (sekitar 50 hingga 32.000 dolar). Sebuah model memperoleh harga penuh sebuah tugas hanya jika solusinya lolos — tidak ada nilai sebagian dalam satu tugas. Metrik utamanya adalah total dolar yang diperoleh dari kumpulan 1 juta, bersama persentase tugas yang terselesaikan; kedua jalur (koding IC dan manajemen) juga dilaporkan terpisah.
- Verifikasi
- Tugas koding (IC) dinilai oleh pengujian end-to-end (Playwright) yang mensimulasikan aksi pengguna nyata, ditulis dan diverifikasi oleh insinyur profesional serta dijalankan di lingkungan Docker terisolasi; patch model harus lolos semua pengujian tugas itu, dan model tidak bisa melihat atau menyuntingnya. Tugas manajemen diterima ketika model memilih proposal yang sama dengan yang benar-benar dipilih oleh manajer perekrut saat itu.
- Mengapa penting
- Ia mengaitkan performa model dengan pekerjaan yang secara ekonomi nyata, berharga pasar, pada basis kode produksi nyata, alih-alih soal sintetis atau yang dinilai sendiri. Karena penilaian memakai alur pengguna end-to-end penuh (bukan perbaikan fungsi yang terisolasi) ditambah jalur keputusan manajemen, ia menguji apakah model terdepan mampu melakukan rekayasa yang utuh dan bernilai yang benar-benar dibayar orang kepada freelancer.
Contoh penyelesaian
Tugas
Tugas IC SWE (ilustratif, ~250 USD): layar «Split Bill» aplikasi menampilkan total NaN ketika seorang peserta dihapus sebelum sebuah nominal diketik. Bekerja dalam kontainer Docker dengan repository lengkap, perbaiki bug tersebut agar total yang ditampilkan kembali ke $0.00; sebuah pengujian end-to-end tersembunyi memutar ulang alur pengguna ini.
Solusi
```diff
function getSplitTotal(amounts) {
- return amounts.reduce((sum, a) => sum + a.value, 0);
+ return amounts.reduce((sum, a) => sum + (Number(a?.value) || 0), 0);
}
```Penjelasan
Menghapus seorang peserta menyisakan entri yang value-nya undefined, sehingga a.value mengubah jumlah berjalan menjadi NaN; mengonversi setiap nilai dengan Number(...) || 0 melewati nominal yang hilang dan total tampil sebagai $0.00. Penilaiannya biner — patch memperoleh harga penuh USD tugas itu hanya jika lolos setiap pengujian end-to-end tugas tersebut, yang dijalankan terhadap alur pengguna nyata.
| Tanggal | Model | Skor | Sumber |
|---|---|---|---|
| 2025-03-05 | GPT-4.5 | 32.6% | OpenAI merilis GPT-4.5, model terbesarnya, untuk ChatGPT Plus |