media Hugging Face Forums · 6 jam lalu · open_models

Eksekusi makro Tura mengurangi putaran Codex hingga 84% dalam benchmark 60 tugas

Diterjemahkan dari English → Bahasa Indonesia

Penulis proyek sumber terbuka Tura melaporkan bahwa penggunaan eksekusi makro dengan Codex CLI 0.144.1 dan GPT-5.6-sol secara signifikan mengurangi putaran interaksi dan biaya di seluruh 60 sesi debug dan penulisan ulang DeepSWE.

Makro + penalaran mundur mencapai tingkat keberhasilan 80,0% (48/60) dengan menggunakan 2.017 putaran dan $221.138.
Makro Langsung mencapai tingkat keberhasilan 65,0% (39/60) dengan hanya 969 putaran dan $99.620.
Dibandingkan dengan Codex CLI High, Makro Langsung menggunakan 84,0% lebih sedikit putaran dan 83,5% lebih sedikit token yang diamati sambil mempertahankan tingkat keberhasilan 5 poin lebih tinggi.
Pendekatan makro mendefinisikan alur kerja deterministik di bawah batas model, mengembalikan bukti gabungan hanya ketika keputusan penalaran baru diperlukan.

Metode ini memungkinkan pengguna menghemat anggaran untuk investigasi dan verifikasi yang lebih kuat dengan menghentikan makro kapan pun bukti baru memerlukan keputusan, daripada pengelompokan buta.

Kepentingan 1/3 Kerangka evaluasi baru dengan pembeda Kepercayaan 1/3 Hugging Face Forums Benchmark results Code generation

Baca aslinya

Mistral Vibe for Code memimpin empat agen pemrograman dalam tugas scaffold-ke-PR

Perbandingan kemampuan Mistral Vibe for Code, Claude Code, OpenAI Codex, dan Cursor mengevaluasi kinerja mereka pada alur kerja multi-tahap yang melibatkan scaffolding, pengujian, dan pembuatan pull request. Skor diperoleh dari fitur yang didokumentasikan, benchmark yang dipublikasikan, dan spesifikasi vendor per 14 Juli 2026.

media r/LocalLLaMA · 7 hari lalu

DeepSeek V4 menghasilkan hibrida No Man's Sky dan Minecraft melalui pengkodean satu kali

Seorang pengguna yang memiliki akses ke versi baru DeepSeek V4 melalui pengujian A/B berhasil membuat game hibrida yang menggabungkan elemen-elemen dari No Man's Sky dan Minecraft hanya dengan pemrograman satu kali. Kode sumber dan log obrolan yang dihasilkan telah dibagikan secara publik, menunjukkan kemampuan model dalam konteks spesifik ini. Demonstrasi ini berfungsi sebagai argumen penentang klaim bahwa pemrograman satu kali tidak berguna untuk tujuan benchmarking.

media r/LocalLLaMA · 7 hari lalu

Kwaipilot merilis KAT-Coder-Pro V2.5

Kwaipilot telah merilis model KAT-Coder-Pro V2.5, disertai dengan laporan teknis yang merinci kinerjanya pada benchmark pemrograman.

media Latent Space · 7 hari lalu · 6 tayangan

Pengguna OpenAI Codex mencapai 7 juta, naik >10x dalam 6 bulan

Produk Codex dari OpenAI telah mencapai 7 juta pengguna, mewakili peningkatan lebih dari 10x dari sekitar 550k-700k pengguna pada awal tahun. Pertumbuhan cepat ini bertepatan dengan peluncuran GPT-5.6 Sol pada 9 Juli dan pembaruan infrastruktur terbaru untuk mengelola penggunaan.

media r/LocalLLaMA · 11 hari lalu · 8 tayangan

Benchmarks agen pemrograman Databricks: pi-coding-agent lebih murah, GLM 5.2 setara dengan Opus

Databricks menerbitkan benchmark agen pemrograman pada basis kode multi-juta barisnya, melaporkan bahwa agen internal pi-coding-agent-nya hingga 2x lebih murah daripada Claude Code atau Codex sambil mencapai tingkat keberhasilan yang lebih tinggi. Studi ini juga menemukan bahwa GLM 5.2 berkinerja setara dengan Opus 4.8 high dan melampaui GPT 5.5 high dan xhigh.