media Hugging Face Forums · 3 hari lalu · open_models

GlucoEdge: prakiraan tren glukosa di perangkat dengan kuantisasi INT8

Diterjemahkan dari English → Bahasa Indonesia

Peneliti independen Mohamed Menasy telah menerbitkan GlucoEdge, sebuah studi rekayasa yang merinci alur kerja machine learning end-to-end di perangkat untuk prakiraan tren glukosa lima kelas selama 15 menit dari data monitor glukosa kontinu. Karya ini memperkenalkan CNN 1D ringkas yang hanya memiliki 2.909 parameter dan mencakup seluruh alur kerja dari konversi PyTorch ke LiteRT.

Kuantisasi pasca-pelatihan INT8 statis mengurangi ukuran artefak model sekitar 31%.
Kuantisasi menyebabkan recall makro turun dari 0,5060 menjadi 0,4135, dengan performa menurun di seluruh empat kelas arah.
Studi ini menganalisis ukuran penyebaran bersama dampak kuantisasi pada perilaku kelas minoritas, termasuk cakupan data kalibrasi dan pemotongan rentang input.
Inferensi offline diuji pada perangkat Android fisik, dengan kode dan materi reproduktibilitas tersedia di GitHub.

Penulis secara eksplisit mencatat keterbatasan seperti tumpang tindih jendela deret waktu dan risiko kebocoran konteks-prefix, mengklarifikasi bahwa ini adalah prototipe penelitian daripada sistem medis.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Inference efficiency Research paper

Artikel terkait

media Hugging Face Forums · 4 hari lalu · 32 tayangan

Tinjauan literatur menemukan bahwa penghematan kompresi berkorelasi lemah dengan energi terukur

Seorang peneliti independen telah menerbitkan tinjauan literatur yang menganalisis apakah teknik kompresi model seperti kuantisasi, pemangkasan, dan distilasi benar-benar mengurangi konsumsi energi terukur atau hanya menurunkan FLOPs.

lab Hugging Face Blog · 29 hari lalu · 39 tayangan

QAH dari Multiverse Computing membuat GPT-OSS 4-bit melampaui versi aslinya presisi penuh

Multiverse Computing memperkenalkan Quantization-Aware Healing (QAH), sebuah metode yang mendistilasi model bahasa besar terkompresi dan terkuantisasi langsung dari guru pra-kompresinya. Diterapkan pada model GPT-OSS 120B yang dikompresi menjadi 60B parameter dan di-kuantisasi ke MXFP4, pendekatan ini menghasilkan model yang mengalahkan versi bfloat16 presisi penuhnya sendiri pada 7 dari 9 benchmark.

arxiv arXiv cs.CL · 40 hari lalu · 31 tayangan

Pengurangan Perkalian Matriks: Reduksi Produk-Matriks Adaptif-Input untuk Inferensi LLM

Para peneliti mengusulkan Pengurangan Perkalian Matriks (RMM), metode inferensi adaptif-input tanpa pelatihan yang mengurangi produk matriks Transformer dengan memilih irisan informatif sepanjang dimensi kontraksi tanpa memodifikasi bobot model. Di bawah kontrol rasio retensi yang sederhana, RMM memberikan trade-off akurasi-efisiensi yang halus dan dapat diprediksi di seluruh model bahasa mulai dari 1B hingga 70B parameter.

lab NVIDIA Research · 43 hari lalu · 47 tayangan

DSTP meredam kegagalan pemangkasan token visual dalam penalaran MLLM yang kompleks

Peneliti mengidentifikasi Pergeseran Informasi Visual Relevan (RVIS) selama dekoding sebagai penyebab utama kegagalan metode pemangkasan token visual yang ada pada Model Bahasa Besar Multimodal (MLLM). Untuk mengatasi hal ini, mereka mengusulkan Pemangkasan Token Sadar Pergeseran Tahap Dekoding (DSTP), sebuah kerangka kerja tanpa pelatihan yang menyelaraskan token visual dengan persyaratan penalaran yang berubah.

media Hugging Face Forums · 50 hari lalu · 29 tayangan

Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan dan kernel Triton terpadu yang bersifat open-source

Seorang pengembang telah merilis arsitektur Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan secara open-source, yang dilengkapi dengan kernel akumulasi keadaan Triton/CUDA terpadu untuk menghindari hambatan MHA kuadratik.