media r/LocalLLaMA · 45 hari lalu · open_models

Bonsai 27B: Model Kelas 27B Pertama yang Berjalan di Ponsel

Diterjemahkan dari English → Bahasa Indonesia

Artikel ini memperkenalkan Bonsai 27B, yang dijelaskan sebagai model pertama dari kelasnya yang mampu berjalan di ponsel.

Tidak ada detail lebih lanjut atau fitur spesifik yang disediakan dalam teks sumber.

Kepentingan 1/3 r/LocalLLaMA Inference efficiency Open weights

Baca aslinya

Quantization-Aware Healing: model terkompresi 4-bit yang mengungguli asli presisi penuhnya

Artikel ini memperkenalkan Quantization-Aware Healing, sebuah metode untuk membuat model terkompresi 4-bit yang mencapai kinerja lebih unggul dibandingkan aslinya dengan presisi penuh.

media r/LocalLLaMA · 4 hari lalu · 5 tayangan

Facebook merilis MobileMoE, keluarga model bahasa MoE untuk perangkat seluler

Meta telah merilis MobileMoE, sebuah koleksi model bahasa Mixture-of-Experts (MoE) untuk perangkat seluler yang dirancang untuk mengoptimalkan trade-off kualitas-efisiensi pada perangkat seluler. Keluarga ini mencakup tiga skala model dengan parameter aktif di bawah satu miliar dan jejak bobot di bawah 3 GB dalam format INT4.

arxiv arXiv cs.LG · 5 hari lalu · 14 tayangan

Quantization-Aware Healing memulihkan LLM 4-bit lebih cepat daripada QAT

Para penulis memperkenalkan Quantization-Aware Healing (QAH), sebuah pipa yang mendistilasi siswa 4-bit langsung dari model tanpa kompresi untuk memulihkan kinerja yang hilang selama kompresi struktural dan kuantisasi. Diterapkan pada GPT-OSS 120B, metode ini menghasilkan Hypernova-60B, yang menyamai atau mengalahkan sumber bfloat16 pada 7 dari 9 benchmark sambil menggunakan sekitar 4 kali lebih sedikit memori bobot.

arxiv arXiv cs.CL · 5 hari lalu · 14 tayangan

Quantization-Aware Healing memulihkan LLM 4-bit lebih cepat dari QAT

Para penulis memperkenalkan Quantization-Aware Healing (QAH), sebuah metode untuk memulihkan kemampuan penalaran dan pemrograman pada model bahasa besar 4-bit yang terkompresi secara struktural. Berbeda dengan pelatihan sadar kuantisasi standar yang menyesuaikan ulang model terkompresi, QAH mendistilasi siswa 4-bit langsung dari model asli yang tidak terkompresi.

media Hugging Face Forums · 6 hari lalu · 6 tayangan

Xyntetik Runner melatih LoRA langsung melalui bobot GGUF terkuantisasi

Joakimpalm-Zen telah memperbarui Xyntetik Runner untuk melatih adapter LoRA secara langsung menggunakan bobot GGUF terkuantisasi yang sama yang digunakannya untuk inferensi, sehingga menghilangkan kebutuhan akan salinan pelatihan FP16 terpisah atau waktu eksekusi.