media Hugging Face Forums · 5 hari lalu · open_models

FitCheck memperkirakan VRAM pelatihan dan penyajian LLM sebelum Anda menjalankannya

Diterjemahkan dari English → Bahasa Indonesia

Anassbzdd telah merilis FitCheck, sebuah alat yang memperkirakan kebutuhan VRAM puncak untuk LoRA, QLoRA, dan fine-tuning penuh model bahasa besar tanpa memerlukan GPU atau PyTorch. Estimator ini menganalisis config.json Hugging Face dan metadata jumlah parameter untuk melaporkan rincian memori, kapasitas yang dapat digunakan, ruang cadangan, dan mikro-batch terbesar yang diperkirakan muat.

Mendukung estimasi penyajian berdasarkan bobot model dan KV cache.
Termasuk penasihat untuk mengeksplorasi ukuran batch, panjang urutan, dan rank LoRA.
Mencapai kesalahan absolut rata-rata 2,4% di seluruh 57 jalanan kalibrasi terhadap pengukuran Tesla T4 nyata.
Menghasilkan 12/12 putusan batas kecocokan yang benar dalam uji holdout terpisah 12 jalanan.

Alat ini membantu pengguna menentukan apakah konfigurasi mereka muat dalam memori GPU sebelum memulai pekerjaan LLM, bertujuan mengurangi tebakan dan kesalahan out-of-memory.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Inference efficiency

Baca aslinya

llama.cpp b11298 menambahkan dukungan dflash untuk konversi dan ekstraksi fitur

Proyek llama.cpp telah merilis build b11298, yang memperkenalkan dukungan untuk format dflash. Pembaruan ini memungkinkan konversi model ke format ini serta kemampuan ekstraksi fitur selanjutnya.

media Hugging Face Forums · 1 jam lalu · 1 tayangan Langsung

ThermaCompute AI merilis CrashLens untuk triase log crash GPU lokal

ThermaCompute AI telah merilis CrashLens, alat gratis dan lokal yang dirancang untuk membantu insinyur menyelidiki crash GPU dengan menganalisis file log. Alat ini mengidentifikasi pola kegagalan yang diketahui dalam log dan menyarankan langkah selanjutnya yang spesifik untuk penyelidikan.

github llama.cpp · 7 jam lalu · 2 tayangan

llama.cpp b11284 memperbaiki GET_ROWS OpenVINO pada tampilan bobot terkuantisasi

Proyek llama.cpp merilis build b11284, yang mencakup perbaikan untuk backend OpenVINO agar dapat menangani operasi GET_ROWS dengan benar pada tampilan bobot terkuantisasi.

github llama.cpp · 9 jam lalu · 1 tayangan

Rilis llama.cpp b11280 mengurangi sinkronisasi allreduce tensor dengan buffer host yang dipin

Proyek llama.cpp telah merilis versi b11280, yang mencakup perubahan untuk mengurangi sinkronisasi allreduce tensor dengan memanfaatkan buffer host yang dipin.

github llama.cpp · 10 jam lalu · 1 tayangan

llama.cpp b11282 mendefinisikan CUDA_ARCH untuk terusan perangkat MUSA

Proyek llama.cpp merilis build b11282, yang mencakup perbaikan untuk mendefinisikan makro `CUDA_ARCH` untuk terusan perangkat MUSA. Sebelumnya, header vendor MUSA gagal mendefinisikan variabel ini, menyebabkan tes arsitektur dalam sumber ggml-cuda bersama dievaluasi ke nol dan menghasilkan tubuh kernel kosong.