arxiv arXiv cs.AI · 2 hari lalu · sumber: 3 hari lalu · research

TokenProbe mengurangi penggunaan token CoT sebesar 76% sambil mempertahankan kualitas penalaran

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti menyajikan TokenProbe, sebuah kerangka kerja yang mengatasi konsumsi token tinggi dari penalaran Chain-of-Thought dengan memanfaatkan nilai token yang tidak seragam dalam suatu urutan. Metode ini menggunakan probabilitas logaritmik ternormalisasi untuk membedakan token struktural inti dari pengisi redundan, memungkinkan kompresi selektif.

TokenProbe mengidentifikasi token inti yang membawa konten penalaran penting versus pengisi eksplorasi kepercayaan rendah menggunakan sinyal probabilitas logaritmik.
Metode ini memperkenalkan tujuan GRPO efisien yang secara selektif mengompresi token redundan untuk meningkatkan trade-off akurasi-efisiensi token.
Pendekatan ini mengurangi penggunaan token sebesar 76% dibandingkan dengan baseline sambil mempertahankan kualitas penalaran.
Dengan anggaran panjang penalaran yang cocok, TokenProbe unggul dibandingkan baseline unggulan kuat seperti Gemini-3.1-Pro.

Karya ini menunjukkan bahwa mengompresi token bernilai rendah menghasilkan perbaikan Pareto, memungkinkan penalaran efisien tanpa mengorbankan kinerja.

Kepentingan 2/3 arXiv cs.AI Inference efficiency Research paper

Artikel terkait

media Hugging Face Forums · 11 hari lalu · 21 tayangan

GlucoEdge: prakiraan tren glukosa di perangkat dengan kuantisasi INT8

Peneliti independen Mohamed Menasy telah menerbitkan GlucoEdge, sebuah studi rekayasa yang merinci alur kerja machine learning end-to-end di perangkat untuk prakiraan tren glukosa lima kelas selama 15 menit dari data monitor glukosa kontinu. Karya ini memperkenalkan CNN 1D ringkas yang hanya memiliki 2.909 parameter dan mencakup seluruh alur kerja dari konversi PyTorch ke LiteRT.

media Hugging Face Forums · 11 hari lalu · 35 tayangan

Tinjauan literatur menemukan bahwa penghematan kompresi berkorelasi lemah dengan energi terukur

Seorang peneliti independen telah menerbitkan tinjauan literatur yang menganalisis apakah teknik kompresi model seperti kuantisasi, pemangkasan, dan distilasi benar-benar mengurangi konsumsi energi terukur atau hanya menurunkan FLOPs.

lab Hugging Face Blog · 36 hari lalu · 44 tayangan

QAH dari Multiverse Computing membuat GPT-OSS 4-bit melampaui versi aslinya presisi penuh

Multiverse Computing memperkenalkan Quantization-Aware Healing (QAH), sebuah metode yang mendistilasi model bahasa besar terkompresi dan terkuantisasi langsung dari guru pra-kompresinya. Diterapkan pada model GPT-OSS 120B yang dikompresi menjadi 60B parameter dan di-kuantisasi ke MXFP4, pendekatan ini menghasilkan model yang mengalahkan versi bfloat16 presisi penuhnya sendiri pada 7 dari 9 benchmark.

arxiv arXiv cs.CL · 48 hari lalu · 36 tayangan

Pengurangan Perkalian Matriks: Reduksi Produk-Matriks Adaptif-Input untuk Inferensi LLM

Para peneliti mengusulkan Pengurangan Perkalian Matriks (RMM), metode inferensi adaptif-input tanpa pelatihan yang mengurangi produk matriks Transformer dengan memilih irisan informatif sepanjang dimensi kontraksi tanpa memodifikasi bobot model. Di bawah kontrol rasio retensi yang sederhana, RMM memberikan trade-off akurasi-efisiensi yang halus dan dapat diprediksi di seluruh model bahasa mulai dari 1B hingga 70B parameter.

lab NVIDIA Research · 50 hari lalu · 51 tayangan

DSTP meredam kegagalan pemangkasan token visual dalam penalaran MLLM yang kompleks

Peneliti mengidentifikasi Pergeseran Informasi Visual Relevan (RVIS) selama dekoding sebagai penyebab utama kegagalan metode pemangkasan token visual yang ada pada Model Bahasa Besar Multimodal (MLLM). Untuk mengatasi hal ini, mereka mengusulkan Pemangkasan Token Sadar Pergeseran Tahap Dekoding (DSTP), sebuah kerangka kerja tanpa pelatihan yang menyelaraskan token visual dengan persyaratan penalaran yang berubah.