arxiv Moonshot AI (arXiv) · 550 hari lalu

GAIR-NLP merilis LIMO, mencapai penalaran matematika kuat dengan 817 sampel

Diterjemahkan dari English → Bahasa Indonesia

GAIR-NLP memperkenalkan LIMO, sebuah model yang menunjukkan bahwa penalaran matematika kompleks dapat dielaborasi secara efektif hanya dengan menggunakan 817 sampel pelatihan yang dikurasi. Pendekatan ini menantang asumsi konvensional bahwa fine-tuning terawasi memerlukan dataset masif untuk menghindari hafalan.

LIMO mencapai akurasi 57,1% pada benchmark AIME dan 94,8% pada MATH.
Model ini hanya menggunakan 1% dari data pelatihan yang dibutuhkan oleh model SFT kuat sebelumnya.
Model ini menunjukkan generalisasi out-of-distribution yang luar biasa, meningkatkan kinerja sebesar 40,5 poin absolut di seluruh 10 benchmark beragam.
Hasilnya mengungguli model yang dilatih dengan data 100 kali lebih banyak, mendukung "Hipotesis Penalaran Less-Is-More".

Para penulis mengusulkan bahwa kemampuan penalaran yang canggih muncul ketika model dasar memanfaatkan pengetahuan pra-pelatihan yang kaya melalui template kognitif minimal dan terkoordinasi secara tepat.

Kepentingan 2/3 Moonshot AI (arXiv) Zhipu AI Reasoning models Research paper

Benchmark

Benchmark	Model	Skor
AIME 2024	LIMO	57.1%
MATH-500	LIMO	94.8%

Baca aslinya

Pengujian Eternis-Forecaster 8B mengungkapkan representasi internal meningkatkan kalibrasi dan mengungkap masalah kesetiaan CoT

Peneliti menyelidiki apakah representasi internal dalam model bahasa besar memberikan jendela yang lebih langsung ke kalibrasi dan kesetiaan daripada penalaran rantai-pemikiran (CoT). Bekerja dengan Eternis-Forecaster 8B di OpenForesight, mereka melatih probe pengelompokan representasi pada aktivasi perantara yang mencapai kalibrasi jauh lebih baik dibandingkan output standar model.

media Don't Worry About the Vase · 5 hari lalu · 5 tayangan

Astra dari OpenAI memecahkan 10 masalah matematika terbuka utama

OpenAI telah merilis hasil dari model internalnya yang belum dirilis, Astra, yang berhasil memecahkan sepuluh masalah terbuka signifikan dalam matematika. Solusi-solusi tersebut dihasilkan oleh model dan selanjutnya diformalkan menjadi sertifikat Lean oleh peneliti manusia.

blog Simon Willison · 8 hari lalu · 12 tayangan

Model Astra OpenAI memecahkan sepuluh masalah matematika lama menggunakan GPT-5.6 Sol

OpenAI telah merilis solusi untuk sepuluh masalah matematika dan ilmu komputer teoretis yang tidak mengalami kemajuan pada hasil utamanya selama setidaknya satu dekade, menggunakan versi internal dari model utama berikutnya, Astra.

arxiv arXiv cs.CL · 12 hari lalu · 2 tayangan

PIVOT berbagi pemindaian awalan di seluruh grup kueri untuk mempercepat perhatian sparse tingkat token

PIVOT (Proxy Indexing Via One full-prefix Traversal) adalah pengganti langsung tanpa pelatihan untuk pengindeks DeepSeek Sparse Attention (DSA) yang mengurangi redundansi komputasi dengan membagikan satu pemindaian awalan di sekelompok kueri terdekat. Alih-alih memberi skor setiap token pendahulu untuk setiap kueri secara individual, PIVOT menggabungkan grup menjadi satu kueri proksi untuk mendapatkan kumpulan kandidat, dari mana top-k token dipilih untuk setiap kueri.

arxiv arXiv cs.CL · 12 hari lalu

Kerangka kerja Zing meningkatkan kecerdasan sosial LLM melalui benchmark SoMBench dan penjangkaran Actio

Laporan ini memperkenalkan Zing, sebuah kerangka kerja terintegrasi yang dirancang untuk meningkatkan kecerdasan sosial model bahasa besar dengan mengukur, menginternalisasi, dan menjangkarkan kemampuan sosial. Para penulis menyajikan SoMBench, sebuah benchmark berbasis psikologi yang mencakup 17 dimensi sekunder dan 3.481 contoh yang diverifikasi oleh ahli, yang mengungkapkan bahwa LLM saat ini masih memiliki ruang perbaikan signifikan tanpa ada model yang mencapai kinerja hampir maksimal.