media AI News (TechForge) · 737 hari lalu

Gemini 1.5 Pro 0801 eksperimental Google melampaui GPT-4o di LMSYS Chatbot Arena

Diterjemahkan dari English → Bahasa Indonesia

Model Gemini 1.5 Pro eksperimental dari Google telah melampaui GPT-4o dari OpenAI dalam benchmark AI generatif, khususnya di papan peringkat LMSYS Chatbot Arena.

Versi eksperimental, yang ditunjuk sebagai Gemini 1.5 Pro 0801, meraih skor 1.300.
Hasil ini melampaui skor GPT-4o sebesar 1.286 dan Claude-3 sebesar 1.271.
Iterasi sebelumnya dari Gemini 1.5 Pro memperoleh skor 1.261.

Perkembangan ini menandai tonggak penting dalam lomba terus-menerus menuju supremasi AI di antara raksasa teknologi.

Kepentingan 3/3 Mengungguli benchmark lab papan atas AI News (TechForge) Google DeepMind OpenAI Benchmark results

Benchmark

Benchmark	Model	Skor
LMSYS Arena (Elo)	Gemini 1.5 Pro 0801	1300Elo

Baca aslinya

Meta menguji ChatGPT, Gemini, dan Character.AI dengan prompt krisis perspektif minor

Meta dilaporkan memiliki ratusan kontraktor berpura-pura sebagai anak di bawah umur dan mengirim prompt terkait bunuh diri, seks, dan narkoba ke chatbot dari OpenAI, Google, dan Character.AI. Dalam satu putaran pengujian, lebih dari 45.000 prompt dikirim.

arxiv arXiv cs.CL · 35 hari lalu

Evaluasi zero-shot menunjukkan Gemini memimpin LLM pada taksonomi emosi 13 kelas

Sebuah studi mengevaluasi tiga model bahasa besar komersial—Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4), dan Gemini (gemini-2.5-flash)—pada tugas klasifikasi emosi halus zero-shot menggunakan sampel 1.000 kalimat terstratifikasi dari dataset boltuix/emotions.

media IntuitionLabs · 115 hari lalu · 39 tayangan

GPT-5.2 mencapai ~53% pada benchmark ARC-AGI-2 pada Desember 2025

GPT-5.2 dari OpenAI, yang dirilis pada Desember 2025, menandai tonggak penting dalam penalaran abstrak AI dengan mencapai tingkat keberhasilan sekitar 53–54% pada benchmark ARC-AGI-2. Kinerja ini jauh melampaui keadaan seni sebelumnya, di mana tidak ada sistem model tertutup yang sebelumnya berhasil mencapai bahkan 5% keberhasilan pada tugas-tugas ini.

media Jeremy Berman (Substack) · 300 hari lalu · 8 tayangan

GPT-5 Pro memecahkan masalah Tier 4 FrontierMath baru, mendahului Gemini 2.5 Deep Think

GPT-5 Pro dari OpenAI menetapkan rekor baru pada benchmark FrontierMath Tier 4 dengan memecahkan satu masalah matematika tingkat penelitian tambahan dibandingkan dengan Gemini 2.5 Deep Think dari Google. Evaluasi ini melibatkan penilaian manual terhadap tiga pengaturan model yang intensif komputasi pada 50 masalah yang sangat sulit yang dikembangkan oleh matematikawan profesional.

lab ARC Prize · 430 hari lalu · 1 tayangan

Pengujian sistem penalaran AI utama tidak menemukan pemenang jelas pada benchmark ARC

Tinjauan terhadap sistem penalaran AI mutakhir dari laboratorium termasuk OpenAI, DeepMind, xAI, DeepSeek, dan Anthropic mengungkapkan bahwa meskipun skalasi komputasi saat pengujian meningkatkan akurasi, hal tersebut secara signifikan mengurangi efisiensi. Analisis ini mengidentifikasi Pareto frontier untuk skor ARC-AGI-1 namun mencatat kegagalan total pada benchmark ARC-AGI-2 yang lebih menantang, menunjukkan keterbatasan umum di seluruh model utama.