lab ARC Prize · 687 hari lalu

Model OpenAI o1 melampaui GPT-4o pada ARC-AGI-Pub tetapi memerlukan komputasi saat pengujian yang jauh lebih besar

Diterjemahkan dari English → Bahasa Indonesia

OpenAI merilis model o1-preview dan o1-mini, yang dilatih untuk meniru penalaran dengan menghasilkan dan menyempurnakan token penalaran sebelum memberikan jawaban akhir. Pengujian pada dataset evaluasi publik ARC-AGI menunjukkan bahwa kedua varian o1 melampaui GPT-4o dalam akurasi.

o1-preview mencapai akurasi yang sebanding dengan Claude 3.5 Sonnet dari Anthropic tetapi membutuhkan waktu sekitar 10 kali lebih lama untuk menyelesaikan tugas.
Menyelesaikan 400 tugas publik ARC-AGI memakan waktu 70 jam untuk o1, dibandingkan hanya 30 menit untuk GPT-4o dan Claude 3.5 Sonnet.
Model-model ini memanfaatkan paradigma chain-of-thought yang diterapkan pada saat pelatihan dan inferensi, dengan memanfaatkan pembelajaran penguatan untuk menyempurnakan strategi.
Kinerja meningkat seiring dengan komputasi saat pengujian, menunjukkan hubungan log-linear antara akurasi dan jumlah token penalaran yang digunakan.

Hasil-hasil ini menyoroti bahwa meskipun peningkatan komputasi saat pengujian meningkatkan akurasi, efisiensi tetap menjadi faktor kritis untuk aplikasi praktis dan benchmarking.

Kepentingan 2/3 ARC Prize OpenAI Anthropic Benchmark results Reasoning models

Artikel terkait

lab ARC Prize · 422 hari lalu

Pengujian sistem penalaran AI utama tidak menemukan pemenang jelas pada benchmark ARC

Tinjauan terhadap sistem penalaran AI mutakhir dari laboratorium termasuk OpenAI, DeepMind, xAI, DeepSeek, dan Anthropic mengungkapkan bahwa meskipun skalasi komputasi saat pengujian meningkatkan akurasi, hal tersebut secara signifikan mengurangi efisiensi. Analisis ini mengidentifikasi Pareto frontier untuk skor ARC-AGI-1 namun mencatat kegagalan total pada benchmark ARC-AGI-2 yang lebih menantang, menunjukkan keterbatasan umum di seluruh model utama.

media Passionfruit · 521 hari lalu

Perbandingan benchmark Claude 3.7 Sonnet, o3-mini, R1, dan Grok 3 Beta

Analisis komparatif mengevaluasi kemampuan Claude 3.7 Sonnet, Claude 3.5 Sonnet, OpenAI o3-mini, DeepSeek R1, dan Grok 3 Beta pada benchmark matematika, pemrograman, dan penalaran.

media Vellum · 523 hari lalu

Anthropic merilis Claude 3.7 Sonnet dengan kontrol penalaran dinamis

Anthropic telah merilis Claude 3.7 Sonnet, sebuah model yang dirancang untuk kasus penggunaan bisnis dan pengembang dunia nyata, bukan hanya optimasi benchmark. Rilis ini memperkenalkan kemampuan untuk beralih secara dinamis antara mode penalaran standar dan lanjutan, memungkinkan pengguna mengontrol jumlah token yang dialokasikan untuk "waktu berpikir."

media Walturn · 669 hari lalu

Membandingkan OpenAI o1 dengan Model Teratas Lainnya

Artikel ini meneliti dan membandingkan empat model AI terkemuka—o1 dari OpenAI, LLaMA 3.2 dari Meta, Claude 3.5 Sonnet dari Anthropic, dan Gemini 1.5 Pro dari Google—dengan fokus pada kemampuan inferensi, metodologi pelatihan, dan benchmark kinerja.

media MarkTechPost · 14 hari lalu

Mistral Vibe for Code memimpin empat agen pemrograman dalam tugas scaffold-ke-PR

Perbandingan kemampuan Mistral Vibe for Code, Claude Code, OpenAI Codex, dan Cursor mengevaluasi kinerja mereka pada alur kerja multi-tahap yang melibatkan scaffolding, pengujian, dan pembuatan pull request. Skor diperoleh dari fitur yang didokumentasikan, benchmark yang dipublikasikan, dan spesifikasi vendor per 14 Juli 2026.