media r/LocalLLaMA · baru saja · open_models

Nokia Applied Research merilis AnyJev untuk mengubah LLM apa pun menjadi model keputusan gaya Jev

Diterjemahkan dari English → Bahasa Indonesia

Nokia Applied Research telah merilis AnyJev, sebuah proyek yang memungkinkan pengguna mengekstrak keputusan yang dapat dipercaya langsung dari keadaan internal LLM dalam satu lemparan maju.

Metode ini tidak memerlukan loop generasi, parsing, atau penyetelan halus.
Ini secara efektif mengubah chatbot lambat menjadi klasifikator deterministik yang cepat dan murah.

Kepentingan 2/3 Kerangka evaluasi baru dengan pembeda r/LocalLLaMA Inference efficiency Research paper

Baca aslinya

TokenProbe mengurangi penggunaan token CoT sebesar 76% sambil mempertahankan kualitas penalaran

Para peneliti menyajikan TokenProbe, sebuah kerangka kerja yang mengatasi konsumsi token tinggi dari penalaran Chain-of-Thought dengan memanfaatkan nilai token yang tidak seragam dalam suatu urutan. Metode ini menggunakan probabilitas logaritmik ternormalisasi untuk membedakan token struktural inti dari pengisi redundan, memungkinkan kompresi selektif.

media Hugging Face Forums · 16 hari lalu · 33 tayangan

GlucoEdge: prakiraan tren glukosa di perangkat dengan kuantisasi INT8

Peneliti independen Mohamed Menasy telah menerbitkan GlucoEdge, sebuah studi rekayasa yang merinci alur kerja machine learning end-to-end di perangkat untuk prakiraan tren glukosa lima kelas selama 15 menit dari data monitor glukosa kontinu. Karya ini memperkenalkan CNN 1D ringkas yang hanya memiliki 2.909 parameter dan mencakup seluruh alur kerja dari konversi PyTorch ke LiteRT.

media Hugging Face Forums · 16 hari lalu · 48 tayangan

Tinjauan literatur menemukan bahwa penghematan kompresi berkorelasi lemah dengan energi terukur

Seorang peneliti independen telah menerbitkan tinjauan literatur yang menganalisis apakah teknik kompresi model seperti kuantisasi, pemangkasan, dan distilasi benar-benar mengurangi konsumsi energi terukur atau hanya menurunkan FLOPs.

lab Hugging Face Blog · 41 hari lalu · 62 tayangan

QAH dari Multiverse Computing membuat GPT-OSS 4-bit melampaui versi aslinya presisi penuh

Multiverse Computing memperkenalkan Quantization-Aware Healing (QAH), sebuah metode yang mendistilasi model bahasa besar terkompresi dan terkuantisasi langsung dari guru pra-kompresinya. Diterapkan pada model GPT-OSS 120B yang dikompresi menjadi 60B parameter dan di-kuantisasi ke MXFP4, pendekatan ini menghasilkan model yang mengalahkan versi bfloat16 presisi penuhnya sendiri pada 7 dari 9 benchmark.

arxiv arXiv cs.CL · 53 hari lalu · 49 tayangan

Pengurangan Perkalian Matriks: Reduksi Produk-Matriks Adaptif-Input untuk Inferensi LLM

Para peneliti mengusulkan Pengurangan Perkalian Matriks (RMM), metode inferensi adaptif-input tanpa pelatihan yang mengurangi produk matriks Transformer dengan memilih irisan informatif sepanjang dimensi kontraksi tanpa memodifikasi bobot model. Di bawah kontrol rasio retensi yang sederhana, RMM memberikan trade-off akurasi-efisiensi yang halus dan dapat diprediksi di seluruh model bahasa mulai dari 1B hingga 70B parameter.