media Latent Space · 2 jam lalu · agents

Anthropic meluncurkan Claude Opus 5 dengan ECI 159

Diterjemahkan dari English → Bahasa Indonesia

Anthropic telah merilis Claude Opus 5, sebuah model frontier baru yang memicu diskusi signifikan mengenai skor benchmark dan kinerja praktis. Evaluasi independen dari Epoch AI melaporkan Epoch Capabilities Index (ECI) sebesar 159 dan SWE-ECI sebesar 161 untuk model baru ini.

Claude Opus 5 mencapai ECI 159, sedikit di bawah skor Fable 5 yang sebesar 161.
Model ini menyamai Fable 5 pada benchmark rekayasa perangkat lunak dengan SWE-ECI 161.
Umpan balik komunitas menunjukkan bahwa skor ECI meremehkan peningkatan praktis Opus 5 dibandingkan Opus 4.8, yang hanya memiliki skor lebih rendah satu poin.
Beberapa evaluator mencatat kinerja non-monotonik pada FrontierCode, di mana input usaha menengah mengungguli input usaha tinggi.
Nous Portal telah menyediakan model ini dengan diskon 20% untuk semua model.

Peluncuran ini menyoroti perdebatan berkelanjutan mengenai sensitivitas metrik evaluasi saat ini dan kesenjangan antara skor agregat dan kemampuan agen pemrograman dunia nyata.

Kepentingan 3/3 Latent Space Anthropic Benchmark results Code generation

Baca aslinya

Anthropic meluncurkan Claude Opus 5, memicu debat tentang benchmark

Anthropic telah meluncurkan model Claude Opus 5, memicu tinjauan atas kinerjanya pada metrik pemrograman dan kemampuan umum serta memperbarui perdebatan seputar evaluasi model frontier.

media Together AI Blog · 16 jam lalu · 2 tayangan

Kimi K3 menyamai Claude Fable 5 pada kualitas DeepSWE dengan biaya sepertiga

Kimi K3, model berbobot terbuka dari Moonshot AI, mencapai kinerja yang sebanding dengan Claude Fable 5 dari Anthropic pada benchmark DeepSWE sambil membutuhkan biaya jauh lebih sedikit per tugas. Dalam evaluasi tanggal 16 Juli 2026, Kimi K3 mencapai pass@1 sebesar 68,5% dibandingkan 69,9% untuk Fable 5, namun mengunggulinya dalam skenario multi-percobaan dan menawarkan efisiensi biaya yang lebih unggul.

media MarkTechPost · 8 hari lalu

Mistral Vibe for Code memimpin empat agen pemrograman dalam tugas scaffold-ke-PR

Perbandingan kemampuan Mistral Vibe for Code, Claude Code, OpenAI Codex, dan Cursor mengevaluasi kinerja mereka pada alur kerja multi-tahap yang melibatkan scaffolding, pengujian, dan pembuatan pull request. Skor diperoleh dari fitur yang didokumentasikan, benchmark yang dipublikasikan, dan spesifikasi vendor per 14 Juli 2026.

media Latent Space · 11 hari lalu · 6 tayangan

Pengguna OpenAI Codex mencapai 7 juta, naik >10x dalam 6 bulan

Produk Codex dari OpenAI telah mencapai 7 juta pengguna, mewakili peningkatan lebih dari 10x dari sekitar 550k-700k pengguna pada awal tahun. Pertumbuhan cepat ini bertepatan dengan peluncuran GPT-5.6 Sol pada 9 Juli dan pembaruan infrastruktur terbaru untuk mengelola penggunaan.

arxiv arXiv cs.CL · 17 hari lalu · 4 tayangan

RuBench 1.0 memperkenalkan benchmark pemrograman agentic tingkat repositori berbahasa Rusia

Para penulis memperkenalkan RuBench 1.0, sebuah benchmark yang terdiri dari 25 tugas yang diambil dari commit perbaikan terbaru di lima repositori open-source aktif (aiohttp, aiogram, Laravel, NestJS, Fastify). Setiap tugas ditentukan secara asli dalam bahasa Rusia dan dinilai oleh tes regresi pemelihara upstream yang tidak dipublikasikan saat rilis.