lab ARC Prize · 611 hari lalu

Pemenang ARC Prize 2024 dipublikasikan; SOTA pada ARC-AGI-1 naik menjadi 55,5%

Diterjemahkan dari English → Bahasa Indonesia

Organisasi ARC Prize telah mengumumkan pemenang kompetisi tahun 2024 dan menerbitkan Laporan Teknis terkait, yang mengungkapkan bahwa skor state-of-the-art (SOTA) pada benchmark ARC-AGI-1 meningkat dari 33% menjadi 55,5% selama acara tersebut.

Total 1.430 tim mengirimkan 17.789 entri untuk kompetisi.
Hadiah Utama tetap tidak diklaim karena tidak ada tim yang menyelesaikan set evaluasi privat.
Kemajuan di papan peringkat sekunder ARC-AGI-Pub mengikuti skor Kaggle dengan erat meskipun memiliki akses ke LLM frontier yang lebih besar dan komputasi yang jauh lebih banyak.
Semua solusi pemenang dan makalah bersifat open source dan dapat direproduksi.

Kompetisi ini dianggap telah mengkatalisis pergeseran dalam penelitian AI menuju ide-ide baru di luar scaling deep learning murni, sebagaimana dibuktikan oleh rilis terbaru dari DeepMind dan OpenAI yang menyertakan sintesis program atau pencarian.

Kepentingan 1/3 ARC Prize Evaluation & benchmarks Research paper

Benchmark

Benchmark	Model	Skor
ARC-AGI 1	MindsAI	55.5%

Baca aslinya

M$^3$R-Bench memperkenalkan benchmark berbasis bukti untuk pemahaman metafora multimodal

Para peneliti memperkenalkan M$^3$R-Bench, sebuah benchmark terpadu yang berisi 1.000 contoh gambar-teks dengan anotasi yang diverifikasi manusia, dirancang untuk mengevaluasi pemahaman metafora multimodal yang berdasar pada bukti. Benchmark ini menyediakan anotasi gabungan untuk kejadian metafora, pemetaan Target-Sumber, sentimen, dan penjelasan bertahap berdasarkan Teori Metafora Konseptual.

arxiv arXiv cs.CL · 12 hari lalu

Kerangka kerja Zing meningkatkan kecerdasan sosial LLM melalui benchmark SoMBench dan penjangkaran Actio

Laporan ini memperkenalkan Zing, sebuah kerangka kerja terintegrasi yang dirancang untuk meningkatkan kecerdasan sosial model bahasa besar dengan mengukur, menginternalisasi, dan menjangkarkan kemampuan sosial. Para penulis menyajikan SoMBench, sebuah benchmark berbasis psikologi yang mencakup 17 dimensi sekunder dan 3.481 contoh yang diverifikasi oleh ahli, yang mengungkapkan bahwa LLM saat ini masih memiliki ruang perbaikan signifikan tanpa ada model yang mencapai kinerja hampir maksimal.

media Hugging Face Forums · 15 hari lalu · 2 tayangan

Benchmark SRRM mengungkap Qwen2.5-1.5B unggul dari 3B dalam memori konteks panjang

Seorang peneliti mencari persetujuan arXiv cs.CL untuk sebuah makalah yang memperkenalkan Simple Retrieval-Reconstruction Memory (SRRM), sebuah benchmark ringan yang dirancang untuk mengevaluasi memori konteks panjang pada Small Language Models.

arxiv arXiv cs.CL · 24 hari lalu

Penyetelan halus LLM dengan trait meningkatkan penilaian esai lintas rubrik

Para peneliti mengatasi tantangan penilaian esai otomatis ketika pendidik merevisi atau memperkenalkan rubrik baru, sebuah skenario yang dikenal sebagai generalisasi lintas-rubrik. Mereka mengusulkan kerangka kerja penyetelan halus untuk Model Bahasa Besar yang memanfaatkan representasi perantara bebas-rubrik yang disebut "trait" bersama dengan pengawasan esai target selama pelatihan.

arxiv arXiv cs.CL · 24 hari lalu

Pelacakan Gurbani Langsung: Benchmark dan Sistem Referensi untuk Subtitel Kirtan Sikh

Para penulis menyajikan sebuah benchmark dan sistem referensi untuk subtitel langsung Kirtan Sikh, yang melibatkan pembacaan nyanyian berkelanjutan dari ayat-ayat Sri Guru Granth Sahib Ji. Berbeda dengan transkripsi kosakata terbuka, tugas ini memerlukan kecocokan kata demi kata yang tepat dari kitab suci kanonik untuk menghindari kesalahan ejaan yang tidak pantas secara agama.