DeepSeek V4 Pro dan GPT-5.6 Sol menyelesaikan 83% tugas DeepSWE dengan biaya $3,35

Perbandingan antara DeepSeek V4 Pro 0813 dan GPT-5.6 Sol pada benchmark DeepSWE menunjukkan bahwa menjalankan DeepSeek terlebih dahulu dan beralih ke GPT-5.6 Sol saat uji gagal mencapai tingkat keberhasilan 83,0% dengan biaya $3,35 per tugas.

• DeepSeek V4 Pro 0813 berharga $0,24 per rollout, sehingga 35 kali lebih murah dibandingkan harga GPT-5.6 Sol sebesar $8,37.
• Meskipun GPT-5.6 Sol memimpin akurasi percobaan tunggal dengan tingkat pass@1 sebesar 72,7%, DeepSeek V4 Pro 0813 mengunggulinya pada empat percobaan dengan skor pass@4 sebesar 88,5%.
• Strategi kaskade mengalahkan kedua model yang dijalankan sendiri dan mengungguli router oracle satu-sentuhan sempurna dengan mencapai cakupan 83,0% untuk kurang dari setengah biaya per tugas GPT-5.6 Sol.
• GPT-5.6 Sol tetap unggul untuk tugas yang sensitif terhadap latensi, menyelesaikan rollout dalam 17 menit dibandingkan DeepSeek yang membutuhkan 35 menit, dan memenangkan enam dari delapan domain tugas termasuk Python dan Go.

Pendekatan pengalihan ini memungkinkan pengguna memanfaatkan DeepSeek V4 Pro 0813 sebagai antarmuka depan berbiaya rendah yang menangani sebagian besar beban kerja, hanya menggunakan GPT-5.6 Sol yang mahal untuk tugas-tugas sulit yang membutuhkan presisi lebih tinggi.