media r/LocalLLaMA · 1 jam lalu · open_models

Quantization-Aware Healing: model terkompresi 4-bit yang mengungguli asli presisi penuhnya

Diterjemahkan dari English → Bahasa Indonesia

Artikel ini memperkenalkan Quantization-Aware Healing, sebuah metode untuk membuat model terkompresi 4-bit yang mencapai kinerja lebih unggul dibandingkan aslinya dengan presisi penuh.

Pendekatan ini menunjukkan bahwa teknik kuantisasi tertentu dapat meningkatkan kemampuan model melampaui versi dasar yang tidak dikuantisasi.

Kepentingan 2/3 r/LocalLLaMA Inference efficiency Open weights

Baca aslinya

Facebook merilis MobileMoE, keluarga model bahasa MoE untuk perangkat seluler

Meta telah merilis MobileMoE, sebuah koleksi model bahasa Mixture-of-Experts (MoE) untuk perangkat seluler yang dirancang untuk mengoptimalkan trade-off kualitas-efisiensi pada perangkat seluler. Keluarga ini mencakup tiga skala model dengan parameter aktif di bawah satu miliar dan jejak bobot di bawah 3 GB dalam format INT4.

arxiv arXiv cs.LG · 2 hari lalu · 12 tayangan

Quantization-Aware Healing memulihkan LLM 4-bit lebih cepat daripada QAT

Para penulis memperkenalkan Quantization-Aware Healing (QAH), sebuah pipa yang mendistilasi siswa 4-bit langsung dari model tanpa kompresi untuk memulihkan kinerja yang hilang selama kompresi struktural dan kuantisasi. Diterapkan pada GPT-OSS 120B, metode ini menghasilkan Hypernova-60B, yang menyamai atau mengalahkan sumber bfloat16 pada 7 dari 9 benchmark sambil menggunakan sekitar 4 kali lebih sedikit memori bobot.

arxiv arXiv cs.CL · 2 hari lalu · 11 tayangan

Quantization-Aware Healing memulihkan LLM 4-bit lebih cepat dari QAT

Para penulis memperkenalkan Quantization-Aware Healing (QAH), sebuah metode untuk memulihkan kemampuan penalaran dan pemrograman pada model bahasa besar 4-bit yang terkompresi secara struktural. Berbeda dengan pelatihan sadar kuantisasi standar yang menyesuaikan ulang model terkompresi, QAH mendistilasi siswa 4-bit langsung dari model asli yang tidak terkompresi.

media Hugging Face Forums · 3 hari lalu · 5 tayangan

Xyntetik Runner melatih LoRA langsung melalui bobot GGUF terkuantisasi

Joakimpalm-Zen telah memperbarui Xyntetik Runner untuk melatih adapter LoRA secara langsung menggunakan bobot GGUF terkuantisasi yang sama yang digunakannya untuk inferensi, sehingga menghilangkan kebutuhan akan salinan pelatihan FP16 terpisah atau waktu eksekusi.

media MarkTechPost · 5 hari lalu · 5 tayangan

Liquid AI merilis model draf LFM2.5-DSpark untuk dekoding hingga 3,18x lebih cepat

Liquid AI telah merilis checkpoint model draf DSpark untuk tiga model dalam keluarga LFM2.5-nya: LFM2.5-1.2B-Instruct, LFM2.5-2.6B, dan LFM2.5-8B-A1B. Model-model draf ini menambahkan jalur dekoding spekulatif ke model target yang ada, memungkinkan draf dengan sekitar 300 juta parameter untuk mengusulkan blok sembilan token kandidat yang akan diverifikasi oleh model target dalam satu kali forward pass.