arxiv arXiv cs.CL · 1 jam lalu · sumber: 1 hari lalu · research

AdaSpark memanfaatkan pembelajaran daring untuk mempercepat verifikasi pohon dan pengisian n-gram

Diterjemahkan dari English → Bahasa Indonesia

AdaSpark adalah penjadwal untuk pembuat blok seperti DSpark yang mempelajari lebar verifikasi dan probabilitas penerimaan selama penyajian tanpa profil atau kalibrasi sebelumnya. Ia mencocokkan waktu verifikasi sebagai fungsi dari konteks dan penerimaan kandidat terhadap hasil target, memungkinkan kandidat yang dibuat dan berasal dari teks bersaing dalam satu urutan terbaik-pertama.

Pada enam dataset publik dengan tiga target padat dan satu target campuran-ahli, AdaSpark mendekode 1,5-3,1x lebih cepat daripada DSpark milik llama.cpp menggunakan pembuat blok yang sama.
Mesin imparo dengan AdaSpark 1,17-1,52x lebih cepat dibandingkan menjalankan dengan rantai tiga-token bawaan, peningkatan yang sepenuhnya disebabkan oleh penjadwal.
Tanpa penyapuan lebar, kinerja tetap berada dalam 0,3% dari lebar pohon terpasang terbaik pada target padat dan menyamai lebar terpasang terbaik pada model campuran-ahli.

Pendekatan ini menghilangkan kebutuhan akan kalibrasi atau penyapuan offline sambil memberikan percepatan signifikan dibandingkan metode penjadwalan standar.

Kepentingan 2/3 Kerangka evaluasi baru dengan pembeda arXiv cs.CL Inference efficiency Research paper

Artikel terkait

media r/LocalLLaMA · 11 jam lalu · 1 tayangan

Nokia Applied Research merilis AnyJev untuk mengubah LLM apa pun menjadi model keputusan gaya Jev

Nokia Applied Research telah merilis AnyJev, sebuah proyek yang memungkinkan pengguna mengekstrak keputusan yang dapat dipercaya langsung dari keadaan internal LLM dalam satu lemparan maju.

arxiv arXiv cs.AI · 7 hari lalu · 29 tayangan

TokenProbe mengurangi penggunaan token CoT sebesar 76% sambil mempertahankan kualitas penalaran

Para peneliti menyajikan TokenProbe, sebuah kerangka kerja yang mengatasi konsumsi token tinggi dari penalaran Chain-of-Thought dengan memanfaatkan nilai token yang tidak seragam dalam suatu urutan. Metode ini menggunakan probabilitas logaritmik ternormalisasi untuk membedakan token struktural inti dari pengisi redundan, memungkinkan kompresi selektif.

media Hugging Face Forums · 16 hari lalu · 33 tayangan

GlucoEdge: prakiraan tren glukosa di perangkat dengan kuantisasi INT8

Peneliti independen Mohamed Menasy telah menerbitkan GlucoEdge, sebuah studi rekayasa yang merinci alur kerja machine learning end-to-end di perangkat untuk prakiraan tren glukosa lima kelas selama 15 menit dari data monitor glukosa kontinu. Karya ini memperkenalkan CNN 1D ringkas yang hanya memiliki 2.909 parameter dan mencakup seluruh alur kerja dari konversi PyTorch ke LiteRT.

media Hugging Face Forums · 17 hari lalu · 48 tayangan

Tinjauan literatur menemukan bahwa penghematan kompresi berkorelasi lemah dengan energi terukur

Seorang peneliti independen telah menerbitkan tinjauan literatur yang menganalisis apakah teknik kompresi model seperti kuantisasi, pemangkasan, dan distilasi benar-benar mengurangi konsumsi energi terukur atau hanya menurunkan FLOPs.

lab Hugging Face Blog · 42 hari lalu · 63 tayangan

QAH dari Multiverse Computing membuat GPT-OSS 4-bit melampaui versi aslinya presisi penuh

Multiverse Computing memperkenalkan Quantization-Aware Healing (QAH), sebuah metode yang mendistilasi model bahasa besar terkompresi dan terkuantisasi langsung dari guru pra-kompresinya. Diterapkan pada model GPT-OSS 120B yang dikompresi menjadi 60B parameter dan di-kuantisasi ke MXFP4, pendekatan ini menghasilkan model yang mengalahkan versi bfloat16 presisi penuhnya sendiri pada 7 dari 9 benchmark.