arxiv Moonshot AI (arXiv) · 1034 hari lalu

SWE-bench memperkenalkan kerangka kerja untuk mengevaluasi LM pada isu GitHub dunia nyata

Diterjemahkan dari English → Bahasa Indonesia

Makalah ini memperkenalkan SWE-bench, sebuah kerangka evaluasi yang dirancang untuk menguji kemampuan model bahasa pada tugas rekayasa perangkat lunak dunia nyata. Ini terdiri dari 2.294 masalah yang diambil dari issue dan pull request GitHub asli di 12 repositori Python populer.

Benchmark ini mengharuskan model untuk mengedit basis kode guna menyelesaikan masalah tertentu, sering kali melibatkan koordinasi lintas beberapa fungsi, kelas, dan file.
Model harus berinteraksi dengan lingkungan eksekusi, memproses konteks yang sangat panjang, dan melakukan penalaran kompleks di luar generasi kode tradisional.
Evaluasi menunjukkan bahwa bahkan model proprietaris tercanggih pun mengalami kesulitan signifikan; model dengan kinerja terbaik, Claude 2, hanya menyelesaikan 1,96% dari masalah tersebut.
Model SWE-Llama yang telah difine-tuning juga hanya menyelesaikan masalah paling sederhana dalam dataset.

Kemajuan pada SWE-bench dianggap sebagai langkah menuju pembuatan model bahasa yang lebih praktis, cerdas, dan otonom dalam skenario dunia nyata.

Kepentingan 1/3 Kerangka evaluasi baru dengan pembeda Moonshot AI (arXiv) Code generation Evaluation & benchmarks

Benchmark

Benchmark	Model	Skor
SWE-bench	Claude 2	1.96%

Artikel terkait

media Hugging Face Forums · 21 hari lalu · 1 tayangan

Uji coba plugin agen pemrograman menunjukkan penghematan token tidak sama dengan penurunan biaya

Analisis tugas agen pemrograman menggunakan GPT-5.6-sol dan Codex CLI 0.144.1 menunjukkan bahwa mengurangi konteks token sebesar 90% tidak menghasilkan penghematan biaya yang proporsional untuk keseluruhan tugas.

lab OpenAI News · 32 hari lalu · 6 tayangan

Audit OpenAI menemukan ~30% tugas SWE-Bench Pro rusak

OpenAI melakukan audit terperinci pada benchmark coding SWE-Bench Pro dan memperkirakan bahwa sekitar 30% dari tugasnya rusak karena cacat desain. Penyelidikan ini dipicu oleh kekhawatiran bahwa kesalahan evaluasi dapat misrepresented kemampuan model dan kasus keamanan, yang menyebabkan OpenAI menarik rekomendasi sebelumnya untuk mengadopsi benchmark ini.

arxiv arXiv cs.CL · 33 hari lalu

GameEngineBench mengevaluasi agen pemrograman pada tugas C++ Unreal Engine 5

Para penulis memperkenalkan GameEngineBench, sebuah benchmark yang dirancang untuk mengevaluasi agen pemrograman pada tugas implementasi C++ dalam cakupan tertentu di dalam proyek Unreal Engine 5. Dibangun dari sembilan repositori game dunia nyata, set evaluasi terdiri dari 110 tugas yang mencakup mekanik gameplay, perilaku multiplayer, AI, animasi, UI, dan plugin rendering.

media r/LocalLLaMA · 37 hari lalu · 2 tayangan

Tindak lanjut: DeepSeek V4 Flash di 2x RTX PRO 6000 menyelesaikan tugas coding nyata lebih cepat daripada Sonnet dan Opus, dengan kualitas sekitar setara Sonnet

Sebuah benchmark tindak lanjut mengevaluasi DeepSeek V4 Flash yang berjalan pada dua GPU RTX PRO 6000 menggunakan vLLM, membandingkan kinerjanya dalam tugas coding dunia nyata terhadap model berbasis API seperti Claude Sonnet dan Opus. Studi ini menemukan bahwa meskipun Opus dan Fable mempertahankan kualitas kode yang lebih unggul, DeepSeek V4 Flash mencapai kualitas sekitar setara Sonnet dengan waktu wall-clock yang jauh lebih cepat.

arxiv arXiv cs.CL · 37 hari lalu

TestEvo-Bench: Benchmark Eksekutabel dan Langsung untuk Ko-Evolusi Tes dan Kode

Para penulis memperkenalkan TestEvo-Bench, sebuah benchmark langsung yang dirancang untuk mengevaluasi seberapa baik agen otomatisasi tes menangani ko-evolusi kode dan tes. Ini mengatasi keterbatasan dalam benchmark yang ada dengan menyediakan tugas-tugas eksekutabel yang berakar pada riwayat commit nyata dengan konfigurasi lingkungan.