media Hugging Face Forums · 4 hari lalu · open_models

Tinjauan literatur menemukan bahwa penghematan kompresi berkorelasi lemah dengan energi terukur

Diterjemahkan dari English → Bahasa Indonesia

Seorang peneliti independen telah menerbitkan tinjauan literatur yang menganalisis apakah teknik kompresi model seperti kuantisasi, pemangkasan, dan distilasi benar-benar mengurangi konsumsi energi terukur atau hanya menurunkan FLOPs.

Tinjauan ini didasarkan pada korpus 53 karya dari tahun 2019 hingga 2026.
Estimator energi perangkat lunak dan penghitung perangkat keras (RAPL, NVML) berbeda dalam margin yang sebanding dengan penghematan yang diklaim oleh metode kompresi.
FLOPs berkorelasi lemah dengan energi terukur setelah bandwidth memori, ukuran batch, dan realisasi kernel backend diperhitungkan.
Peringkat kompresi pada satu platform perangkat keras tidak dapat ditransfer secara andal ke platform lain.

Penulis membagikan tinjauan dan tabel data terkait di Zenodo dan GitHub, sambil mencari dukungan cs.LG untuk mempublikasikan karya tersebut di arXiv.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Inference efficiency Research paper

Baca aslinya

GlucoEdge: prakiraan tren glukosa di perangkat dengan kuantisasi INT8

Peneliti independen Mohamed Menasy telah menerbitkan GlucoEdge, sebuah studi rekayasa yang merinci alur kerja machine learning end-to-end di perangkat untuk prakiraan tren glukosa lima kelas selama 15 menit dari data monitor glukosa kontinu. Karya ini memperkenalkan CNN 1D ringkas yang hanya memiliki 2.909 parameter dan mencakup seluruh alur kerja dari konversi PyTorch ke LiteRT.

lab Hugging Face Blog · 29 hari lalu · 39 tayangan

QAH dari Multiverse Computing membuat GPT-OSS 4-bit melampaui versi aslinya presisi penuh

Multiverse Computing memperkenalkan Quantization-Aware Healing (QAH), sebuah metode yang mendistilasi model bahasa besar terkompresi dan terkuantisasi langsung dari guru pra-kompresinya. Diterapkan pada model GPT-OSS 120B yang dikompresi menjadi 60B parameter dan di-kuantisasi ke MXFP4, pendekatan ini menghasilkan model yang mengalahkan versi bfloat16 presisi penuhnya sendiri pada 7 dari 9 benchmark.

arxiv arXiv cs.CL · 40 hari lalu · 31 tayangan

Pengurangan Perkalian Matriks: Reduksi Produk-Matriks Adaptif-Input untuk Inferensi LLM

Para peneliti mengusulkan Pengurangan Perkalian Matriks (RMM), metode inferensi adaptif-input tanpa pelatihan yang mengurangi produk matriks Transformer dengan memilih irisan informatif sepanjang dimensi kontraksi tanpa memodifikasi bobot model. Di bawah kontrol rasio retensi yang sederhana, RMM memberikan trade-off akurasi-efisiensi yang halus dan dapat diprediksi di seluruh model bahasa mulai dari 1B hingga 70B parameter.

lab NVIDIA Research · 43 hari lalu · 47 tayangan

DSTP meredam kegagalan pemangkasan token visual dalam penalaran MLLM yang kompleks

Peneliti mengidentifikasi Pergeseran Informasi Visual Relevan (RVIS) selama dekoding sebagai penyebab utama kegagalan metode pemangkasan token visual yang ada pada Model Bahasa Besar Multimodal (MLLM). Untuk mengatasi hal ini, mereka mengusulkan Pemangkasan Token Sadar Pergeseran Tahap Dekoding (DSTP), sebuah kerangka kerja tanpa pelatihan yang menyelaraskan token visual dengan persyaratan penalaran yang berubah.

media Hugging Face Forums · 50 hari lalu · 29 tayangan

Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan dan kernel Triton terpadu yang bersifat open-source

Seorang pengembang telah merilis arsitektur Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan secara open-source, yang dilengkapi dengan kernel akumulasi keadaan Triton/CUDA terpadu untuk menghindari hambatan MHA kuadratik.