lab ARC Prize · 514 hari lalu

ARC Prize Foundation meluncurkan benchmark ARC-AGI-2 dan ARC Prize 2025

Diterjemahkan dari English → Bahasa Indonesia

ARC Prize Foundation telah meluncurkan ARC-AGI-2, sebuah benchmark baru yang dirancang untuk mengukur kecerdasan cair dengan menyajikan tugas-tugas yang mudah bagi manusia tetapi sulit bagi sistem AI saat ini. Bersama dengan benchmark tersebut, organisasi ini mengumumkan kompetisi ARC Prize 2025 untuk mendorong kemajuan open-source pada kecerdasan umum yang efisien.

ARC-AGI-2 meningkatkan tingkat kesulitan secara signifikan dibandingkan pendahulunya, di mana LLM murni mendapat skor 0% dan sistem penalaran publik hanya mencapai persentase satu digit. Benchmark ini terdiri dari 120 tugas per set eval (naik dari 100) yang memerlukan interpretasi simbolik, penalaran komposisional, dan penerapan aturan kontekstual. Peserta manusia menyelesaikan setiap tugas dalam dua kali upaya atau kurang, menyoroti kesenjangan antara kemampuan adaptasi manusia dan kemampuan AI saat ini.

Inisiatif ini bertujuan untuk berfungsi sebagai bintang utara bagi penelitian AGI dengan berfokus pada kesenjangan kapabilitas yang tidak muncul dari penskalaan, menginspirasi peneliti untuk mengembangkan ide-ide baru untuk kecerdasan umum.

Kepentingan 2/3 ARC Prize Evaluation & benchmarks Reasoning models

Benchmark

Benchmark	Model	Skor
ARC-AGI 2	public AI reasoning systems	9%

Artikel terkait

media Hugging Face Forums · 17 hari lalu · 25 tayangan

GPT-5.6 memulihkan 95% pesan tersembunyi dalam benchmark kriptografi sastra yang belum pernah dilihat sebelumnya

Sebuah makalah kerja oleh Joseph JM Walker mengevaluasi model bahasa frontier pada benchmark kriptografi sastra multi-saluran yang belum pernah dilihat sebelumnya, yang tertanam dalam novel fisik "I Wrote a Book and Made a Million Dollars (I.B. Wryten)." Studi ini menemukan bahwa GPT-5.6 secara mandiri mengenali saluran komunikasi sekunder dan memulihkan sekitar 95% materi yang disematkan pada percobaan pertama, sedangkan model-model sebelumnya menunjukkan kemampuan efektif 0%.

arxiv arXiv cs.CL · 35 hari lalu · 29 tayangan

GSM-Plus-BN memperkenalkan benchmark berbasis gangguan untuk penalaran matematika Bengali

Studi ini memperkenalkan GSM-Plus-BN, dataset matematika Bengali terganggu yang baru, yang berasal dari benchmark GSM-Plus bahasa Inggris dan diverifikasi oleh penerjemah manusia. Sumber daya ini mengatasi kurangnya benchmark sistematis untuk menilai ketahanan model di wilayah dengan keragaman linguistik seperti Bangladesh.

arxiv arXiv cs.AI · 37 hari lalu · 20 tayangan

WILDTRACE memperkenalkan benchmark untuk jejak bukti alami dalam penalaran konteks panjang

Para penulis memperkenalkan WILDTRACE, sebuah benchmark baru yang dirancang untuk mengevaluasi seberapa baik model mengintegrasikan bukti yang tersebar di bagian-bagian jauh dalam dokumen panjang. Berbeda dengan benchmark yang ada yang mengandalkan fakta tanam atau rantai rekayasa balik, WILDTRACE menggunakan 481 tugas yang berasal dari 214 sumber alami, seperti laporan insiden teknis dan narasi sastra.

arxiv arXiv cs.CL · 38 hari lalu · 20 tayangan

Benchmark WILDTRACE memperkenalkan 481 tugas untuk jejak bukti alami dalam penalaran konteks panjang

Para penulis memperkenalkan WILDTRACE, sebuah benchmark baru yang dirancang untuk mengevaluasi seberapa baik model mengintegrasikan bukti yang tersebar secara alami di seluruh bagian jauh dalam dokumen panjang. Berbeda dengan benchmark yang ada yang menggunakan fakta tanam atau rantai rekayasa balik, WILDTRACE mengandalkan logika kausal, temporal, dan naratif internal sumber.

lab OpenAI News · 51 hari lalu · 25 tayangan

Memperkenalkan GeneBench-Pro

GeneBench-Pro adalah benchmark tingkat penelitian yang dirancang untuk mengukur bagaimana agen AI menangani ambiguitas dan membuat penilaian konsekuensial dalam biologi komputasi, dengan memperluas dari GeneBench asli. Ini mengatasi keterbatasan evaluasi saat ini dengan menguji kemampuan tingkat tinggi seperti menangani noise data, merevisi asumsi, dan menentukan kapan hasil siap untuk pengambilan keputusan.