arxiv Moonshot AI (arXiv) · 916 hari lalu

DeepSeekMath 7B mencapai 51,7% pada benchmark MATH menggunakan GRPO dan data kurasi

Diterjemahkan dari English → Bahasa Indonesia

Makalah DeepSeekMath memperkenalkan model bahasa terbuka 7B parameter yang dirancang untuk meningkatkan kemampuan penalaran matematika. Model ini dibuat dengan melanjutkan pra-pelatihan DeepSeek-Coder-Base-v1.5 dengan 120B token terkait matematika dari Common Crawl, bersama dengan data bahasa alami dan kode.

DeepSeekMath 7B mencetak skor 51,7% pada benchmark MATH tingkat kompetisi tanpa toolkit eksternal atau teknik voting.
Konsistensi diri atas 64 sampel mencapai 60,9% pada benchmark MATH.
Performa ini dikaitkan dengan pipeline seleksi data kurasi dan Optimisasi Kebijakan Relatif Grup (GRPO).
GRPO adalah varian dari Optimisasi Kebijakan Proksimal yang meningkatkan penalaran sambil mengoptimalkan penggunaan memori.

Para penulis menganggap ini signifikan karena model tersebut mendekati tingkat performa model tertutup seperti Gemini-Ultra dan GPT-4.

Kepentingan 1/3 Moonshot AI (arXiv) DeepSeek Reasoning models Research paper

Benchmark

Benchmark	Model	Skor
MATH-500	DeepSeekMath 7B	51.7%

Baca aslinya

Lab Simple Scaling merilis s1-32B dengan penskalaan saat pengujian melalui pemaksaan anggaran

Lab Simple Scaling memperkenalkan s1-32B, sebuah model penalaran yang mencapai kinerja kuat melalui fine-tuning terawasi pada dataset kurasi berisi 1.000 sampel dan teknik yang disebut pemaksaan anggaran (budget forcing). Pendekatan ini mengendalikan komputasi saat pengujian dengan cara menghentikan proses berpikir model atau menambahkan "Wait" untuk memperpanjangnya, memungkinkan model memeriksa ulang jawabannya.

media Don't Worry About the Vase · 5 hari lalu · 5 tayangan

Astra dari OpenAI memecahkan 10 masalah matematika terbuka utama

OpenAI telah merilis hasil dari model internalnya yang belum dirilis, Astra, yang berhasil memecahkan sepuluh masalah terbuka signifikan dalam matematika. Solusi-solusi tersebut dihasilkan oleh model dan selanjutnya diformalkan menjadi sertifikat Lean oleh peneliti manusia.

blog Simon Willison · 8 hari lalu · 12 tayangan

Model Astra OpenAI memecahkan sepuluh masalah matematika lama menggunakan GPT-5.6 Sol

OpenAI telah merilis solusi untuk sepuluh masalah matematika dan ilmu komputer teoretis yang tidak mengalami kemajuan pada hasil utamanya selama setidaknya satu dekade, menggunakan versi internal dari model utama berikutnya, Astra.

arxiv arXiv cs.CL · 12 hari lalu · 2 tayangan

PIVOT berbagi pemindaian awalan di seluruh grup kueri untuk mempercepat perhatian sparse tingkat token

PIVOT (Proxy Indexing Via One full-prefix Traversal) adalah pengganti langsung tanpa pelatihan untuk pengindeks DeepSeek Sparse Attention (DSA) yang mengurangi redundansi komputasi dengan membagikan satu pemindaian awalan di sekelompok kueri terdekat. Alih-alih memberi skor setiap token pendahulu untuk setiap kueri secara individual, PIVOT menggabungkan grup menjadi satu kueri proksi untuk mendapatkan kumpulan kandidat, dari mana top-k token dipilih untuk setiap kueri.

arxiv arXiv cs.AI · 17 hari lalu · 1 tayangan

PoTRE memperkenalkan kerangka kerja multi-agen heterogen untuk penalaran saat pengujian

Para penulis memperkenalkan PoTRE (Poly-Topological Reasoning Ensembles), sebuah kerangka kerja yang dirancang untuk mengatasi keterbatasan prompting aliran tunggal standar dalam tugas penalaran kompleks. PoTRE memisahkan inferensi menjadi empat agen yang berbeda: Agen Refinement Adversarial, Agen Perencanaan Strategis Hierarkis, Agen Pencarian Spektrum, dan Agen Rantai Langsung.