media Medium (Barnacle Goose) · 865 hari lalu

Benchmark LMSYS peringkat Claude 3 Opus di atas dengan rating Elo 1253

Diterjemahkan dari English → Bahasa Indonesia

Peneliti dari LMSYS telah merilis papan peringkat menggunakan sistem rating Elo untuk membandingkan model bahasa besar, mengungkapkan bahwa Claude 3 Opus dari Anthropic telah mengamankan posisi teratas. Model tersebut meraih rating Elo 1253 berdasarkan pertarungan satu lawan satu yang dievaluasi oleh pemilih manusia.

Claude 3 Opus memegang rating tertinggi dengan total 33.250 suara dan rekor +5/-5.
Model preview GPT-4 dari OpenAI mengikuti di dekatnya dengan rating 1251 dan 1248.
Bard (Gemini Pro) dari Google menempati peringkat keempat dengan rating Elo 1203.
Model lama GPT-4–0314 diperingkatkan keenam dengan rating 1185.

Benchmark ini menyediakan metode objektif untuk melacak kemajuan pesat dalam AI bahasa dan mengidentifikasi arsitektur terdepan saat persaingan di antara perusahaan teknologi utama semakin ketat.

Kepentingan 2/3 Medium (Barnacle Goose) Anthropic OpenAI Benchmark results

Benchmark

Benchmark	Model	Skor
LMSYS Arena (Elo)	Claude 3 Opus	1253Elo
LMSYS Arena (Elo)	GPT-4 preview models	1251Elo
LMSYS Arena (Elo)	Bard (Gemini Pro)	1203Elo
LMSYS Arena (Elo)	Claude 3 Sonnet	1198Elo
LMSYS Arena (Elo)	GPT-4–0314	1185Elo
LMSYS Arena (Elo)	Mistral-Large-2402	1157Elo
LMSYS Arena (Elo)	Qwen1.5–72B-Chat	1148Elo

Baca aslinya

Mistral Vibe for Code memimpin empat agen pemrograman dalam tugas scaffold-ke-PR

Perbandingan kemampuan Mistral Vibe for Code, Claude Code, OpenAI Codex, dan Cursor mengevaluasi kinerja mereka pada alur kerja multi-tahap yang melibatkan scaffolding, pengujian, dan pembuatan pull request. Skor diperoleh dari fitur yang didokumentasikan, benchmark yang dipublikasikan, dan spesifikasi vendor per 14 Juli 2026.

media Latent Space · 26 hari lalu · 7 tayangan

Pengguna OpenAI Codex mencapai 7 juta, naik >10x dalam 6 bulan

Produk Codex dari OpenAI telah mencapai 7 juta pengguna, mewakili peningkatan lebih dari 10x dari sekitar 550k-700k pengguna pada awal tahun. Pertumbuhan cepat ini bertepatan dengan peluncuran GPT-5.6 Sol pada 9 Juli dan pembaruan infrastruktur terbaru untuk mengelola penggunaan.

arxiv arXiv cs.CL · 32 hari lalu · 4 tayangan

RuBench 1.0 memperkenalkan benchmark pemrograman agentic tingkat repositori berbahasa Rusia

Para penulis memperkenalkan RuBench 1.0, sebuah benchmark yang terdiri dari 25 tugas yang diambil dari commit perbaikan terbaru di lima repositori open-source aktif (aiohttp, aiogram, Laravel, NestJS, Fastify). Setiap tugas ditentukan secara asli dalam bahasa Rusia dan dinilai oleh tes regresi pemelihara upstream yang tidak dipublikasikan saat rilis.

arxiv arXiv cs.CL · 35 hari lalu

Evaluasi zero-shot menunjukkan Gemini memimpin LLM pada taksonomi emosi 13 kelas

Sebuah studi mengevaluasi tiga model bahasa besar komersial—Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4), dan Gemini (gemini-2.5-flash)—pada tugas klasifikasi emosi halus zero-shot menggunakan sampel 1.000 kalimat terstratifikasi dari dataset boltuix/emotions.

media IntuitionLabs · 115 hari lalu · 39 tayangan

GPT-5.2 mencapai ~53% pada benchmark ARC-AGI-2 pada Desember 2025

GPT-5.2 dari OpenAI, yang dirilis pada Desember 2025, menandai tonggak penting dalam penalaran abstrak AI dengan mencapai tingkat keberhasilan sekitar 53–54% pada benchmark ARC-AGI-2. Kinerja ini jauh melampaui keadaan seni sebelumnya, di mana tidak ada sistem model tertutup yang sebelumnya berhasil mencapai bahkan 5% keberhasilan pada tugas-tugas ini.