media Hugging Face Forums · 5 hari lalu · open_models

FitCheck memperkirakan kecocokan memori GPU untuk LLM dengan kesalahan mutlak rata-rata 2,4%

Diterjemahkan dari English → Bahasa Indonesia

FitCheck adalah alat baru yang memperkirakan kebutuhan VRAM puncak untuk LoRA, QLoRA, dan penyetelan penuh model bahasa besar tanpa memerlukan PyTorch, CUDA, atau perangkat keras GPU aktual.

Alat ini menganalisis config.json model di Hugging Face dan metadata jumlah parameter untuk melaporkan rincian memori, kapasitas yang dapat digunakan, ruang cadangan, dan verdict kecocokan.
Alat ini mendukung estimasi layanan berdasarkan bobot model dan cache KV, bersama dengan penasihat untuk mengeksplorasi ukuran batch, panjang urutan, dan rank LoRA.
Pengujian pada Tesla T4 menunjukkan kesalahan mutlak rata-rata 2,4% di seluruh 57 jalankan kalibrasi dan menghasilkan 12/12 verdict batas kecocokan yang benar dalam tes holdout terpisah.

Alat ini membantu pengguna menentukan apakah konfigurasi LLM mereka akan muat dalam memori GPU sebelum memulai pekerjaan, dengan tujuan mengurangi tebakan dan kesalahan out-of-memory.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Inference efficiency Local inference

Baca aslinya

llama.cpp b11298 menambahkan dukungan dflash untuk konversi dan ekstraksi fitur

Proyek llama.cpp telah merilis build b11298, yang memperkenalkan dukungan untuk format dflash. Pembaruan ini memungkinkan konversi model ke format ini serta kemampuan ekstraksi fitur selanjutnya.

github llama.cpp · 7 jam lalu · 2 tayangan

llama.cpp b11284 memperbaiki GET_ROWS OpenVINO pada tampilan bobot terkuantisasi

Proyek llama.cpp merilis build b11284, yang mencakup perbaikan untuk backend OpenVINO agar dapat menangani operasi GET_ROWS dengan benar pada tampilan bobot terkuantisasi.

github llama.cpp · 11 jam lalu · 2 tayangan

llama.cpp menambahkan dukungan GLM-5.3-Flash dengan perbaikan k-pool dan MTP

Proyek llama.cpp telah menambahkan dukungan awal untuk arsitektur model GLM-5.3-Flash (GLM5-Next), termasuk migrasi ke memori indeks hibrida dan kemampuan Multi-Token Prediction (MTP) awal.

github llama.cpp · 13 jam lalu · 2 tayangan

llama.cpp b11272 mengoptimalkan operasi penggabungan Hexagon

Proyek llama.cpp merilis build b11272, yang mencakup optimasi untuk backend Hexagon. Perubahan utama berfokus pada optimisasi operasi penggabungan untuk meningkatkan kinerja pada perangkat keras Qualcomm Snapdragon.

github llama.cpp · 1 hari lalu · 7 tayangan

llama.cpp b11260 menambahkan dukungan FP32 GELU_ERF dan GEGLU_ERF

Proyek llama.cpp telah merilis versi b11260, memperkenalkan dukungan untuk fungsi aktivasi FP32 GELU_ERF dan GEGLU_ERF di backend Hexagon. Pembaruan ini juga mencakup optimasi untuk mengurangi tekanan register dalam kernel terkait.