media r/LocalLLaMA · 1 jam lalu · open_models

Facebook merilis MobileMoE, keluarga model bahasa MoE untuk perangkat seluler

Diterjemahkan dari English → Bahasa Indonesia

Meta telah merilis MobileMoE, sebuah koleksi model bahasa Mixture-of-Experts (MoE) untuk perangkat seluler yang dirancang untuk mengoptimalkan trade-off kualitas-efisiensi pada perangkat seluler. Keluarga ini mencakup tiga skala model dengan parameter aktif di bawah satu miliar dan jejak bobot di bawah 3 GB dalam format INT4.

Model-model ini memiliki 0,3B, 0,5B, dan 0,9B parameter aktif (1,3B, 2,8B, dan 5,3B total), masing-masing tersedia dalam varian Base, SFT, dan QAT.
MobileMoE-L-Base adalah model pra-latih dengan 922M parameter aktif, 32 lapisan, dan panjang konteks 8.192 token.
Arsitektur ini memanfaatkan 60 ahli yang dialihkan dengan routing top-k sigmoid dan satu ahli bersama, mendukung input dan output teks bahasa Inggris.
Dirilis di bawah lisensi FAIR NC pada Agustus 2026, model-model tersebut di-hosting di Hugging Face.

Kepentingan 2/3 r/LocalLLaMA Meta AI Inference efficiency Open weights

Baca aslinya

Quantization-Aware Healing memulihkan LLM 4-bit lebih cepat daripada QAT

Para penulis memperkenalkan Quantization-Aware Healing (QAH), sebuah pipa yang mendistilasi siswa 4-bit langsung dari model tanpa kompresi untuk memulihkan kinerja yang hilang selama kompresi struktural dan kuantisasi. Diterapkan pada GPT-OSS 120B, metode ini menghasilkan Hypernova-60B, yang menyamai atau mengalahkan sumber bfloat16 pada 7 dari 9 benchmark sambil menggunakan sekitar 4 kali lebih sedikit memori bobot.

arxiv arXiv cs.CL · 17 jam lalu · 9 tayangan

Quantization-Aware Healing memulihkan LLM 4-bit lebih cepat dari QAT

Para penulis memperkenalkan Quantization-Aware Healing (QAH), sebuah metode untuk memulihkan kemampuan penalaran dan pemrograman pada model bahasa besar 4-bit yang terkompresi secara struktural. Berbeda dengan pelatihan sadar kuantisasi standar yang menyesuaikan ulang model terkompresi, QAH mendistilasi siswa 4-bit langsung dari model asli yang tidak terkompresi.

media Hugging Face Forums · 2 hari lalu · 6 tayangan

Xyntetik Runner melatih LoRA langsung melalui bobot GGUF terkuantisasi

Joakimpalm-Zen telah memperbarui Xyntetik Runner untuk melatih adapter LoRA secara langsung menggunakan bobot GGUF terkuantisasi yang sama yang digunakannya untuk inferensi, sehingga menghilangkan kebutuhan akan salinan pelatihan FP16 terpisah atau waktu eksekusi.

media MarkTechPost · 4 hari lalu · 11 tayangan

Liquid AI merilis model draf LFM2.5-DSpark untuk dekoding hingga 3,18x lebih cepat

Liquid AI telah merilis checkpoint model draf DSpark untuk tiga model dalam keluarga LFM2.5-nya: LFM2.5-1.2B-Instruct, LFM2.5-2.6B, dan LFM2.5-8B-A1B. Model-model draf ini menambahkan jalur dekoding spekulatif ke model target yang ada, memungkinkan draf dengan sekitar 300 juta parameter untuk mengusulkan blok sembilan token kandidat yang akan diverifikasi oleh model target dalam satu kali forward pass.

lab Liquid AI · 4 hari lalu · 15 tayangan

Liquid AI merilis model draf DSpark untuk LFM2.5 guna mempercepat inferensi

Liquid AI telah merilis checkpoint model draf untuk keluarga LFM2.5-nya—khususnya LFM2.5-1.2B-Instruct, LFM2.5-2.6B, dan LFM2.5-8B-A1B—yang memanfaatkan decoding spekulatif untuk secara signifikan meningkatkan kecepatan inferensi tanpa mengorbankan kualitas output.