arxiv arXiv cs.CL · 2 hari lalu · sumber: 3 hari lalu · research

TokenProbe mengurangi penggunaan token CoT sebesar 76% sambil mempertahankan akurasi

Diterjemahkan dari English → Bahasa Indonesia

Peneliti menyajikan TokenProbe, sebuah kerangka kerja yang mengatasi konsumsi token tinggi dari penalaran Chain-of-Thought dengan memanfaatkan nilai tidak seragam dari token di dalam jejak penalaran. Metode ini membedakan token inti yang membawa konten penting dari pengisi redundan menggunakan sinyal probabilitas logaritmik ternormalisasi.

TokenProbe memanfaatkan probabilitas logaritmik tingkat token untuk mengidentifikasi dan mengompresi token eksplorasi dengan kepercayaan rendah.
Metode ini memperkenalkan tujuan GRPO yang efisien yang secara selektifs menghapus token redundan untuk meningkatkan trade-off antara akurasi dan efisiensi token.
Hasil empiris menunjukkan pengurangan penggunaan token sebesar 76% dibandingkan dengan baseline sambil mempertahankan kualitas penalaran.
Dengan anggaran panjang penalaran yang cocok, pendekatan ini mengunggoli baseline kuat seperti Gemini-3.1-Pro.

Karya ini menunjukkan bahwa mengompresi token redundan secara selektif menghasilkan perbaikan Pareto, memungkinkan model mencapai efisiensi lebih tinggi tanpa mengorbankan kinerja.

Kepentingan 2/3 arXiv cs.CL Reasoning models Research paper

Artikel terkait

arxiv arXiv cs.CL · 8 hari lalu · 19 tayangan

TelecomGPT-R1: Pelatihan Pasca-Unifikasi untuk Penalaran Melintasi Tugas Telekomunikasi Heterogen

Para peneliti memperkenalkan TelecomGPT-R1, sebuah keluarga model penalaran telekomunikasi terpadu sumber terbuka yang dirancang untuk mengotomatisasi tugas teknik dengan menalar atas standar, konfigurasi, dan log. Model ini mengatasi keterbatasan LLM umum dan khusus yang ada melalui pendekatan terstruktur yang mencakup aspek protokol, pengetahuan, pemodelan, dan gangguan.

media Hugging Face Forums · 10 hari lalu · 17 tayangan

Proposal untuk sistem dekomposisi proposisi dan penalaran yang didorong oleh kontradiksi

Seorang penulis mengusulkan desain penelitian untuk sistem penalaran yang mendeteksi kontradiksi antara dua proposisi dengan menguraikannya menjadi komponen yang lebih kecil dan mencari tabrakan logis, alih-alih mengandalkan penilaian langsung LLM.

media Don't Worry About the Vase · 58 hari lalu · 47 tayangan

Astra dari OpenAI memecahkan 10 masalah matematika terbuka utama

OpenAI telah merilis hasil dari model internalnya yang belum dirilis, Astra, yang berhasil memecahkan sepuluh masalah terbuka signifikan dalam matematika. Solusi-solusi tersebut dihasilkan oleh model dan selanjutnya diformalkan menjadi sertifikat Lean oleh peneliti manusia.

blog Simon Willison · 60 hari lalu · 61 tayangan

Model Astra OpenAI memecahkan sepuluh masalah matematika lama menggunakan GPT-5.6 Sol

OpenAI telah merilis solusi untuk sepuluh masalah matematika dan ilmu komputer teoretis yang tidak mengalami kemajuan pada hasil utamanya selama setidaknya satu dekade, menggunakan versi internal dari model utama berikutnya, Astra.

arxiv arXiv cs.AI · 70 hari lalu · 42 tayangan

PoTRE memperkenalkan kerangka kerja multi-agen heterogen untuk penalaran saat pengujian

Para penulis memperkenalkan PoTRE (Poly-Topological Reasoning Ensembles), sebuah kerangka kerja yang dirancang untuk mengatasi keterbatasan prompting aliran tunggal standar dalam tugas penalaran kompleks. PoTRE memisahkan inferensi menjadi empat agen yang berbeda: Agen Refinement Adversarial, Agen Perencanaan Strategis Hierarkis, Agen Pencarian Spektrum, dan Agen Rantai Langsung.