media MarkTechPost · baru saja · releases

Z.ai dan Alibaba secara independen menyimpulkan arsitektur perhatian linier 3:1 untuk GLM-5.3-Flash dan Qwen3.8-Flash-Next

Diterjemahkan dari English → Bahasa Indonesia

Z.ai merilis GLM-5.3-Flash, model MoE multimodal 320B-parameter dengan 18B parameter aktif, sementara tim Alibaba Qwen merilis Qwen3.8-Flash-Next, model 125B dengan 6B parameter aktif. Meskipun dikembangkan secara independen, kedua tim mengadopsi konfigurasi arsitektur yang hampir identik.

Kedua model menggunakan hibrida 3:1 antara lapisan perhatian linier dan penuh untuk menyeimbangkan efisiensi dan presisi.
Konteks dikompresi dengan faktor 4 melalui pengindeks yang dipelajari yang membatasi anggaran perhatian jarang pada 2048 token.
Aliran residu tunggal diganti oleh empat cabang gerbang paralel untuk meningkatkan kontrol aliran dan mengurangi overhead memori.
Pelatihan menggunakan optimizer Muon dengan matriks proyeksi terfusi yang dibagi menjadi transformasi independen sebelum ortogonalisasi.
Kedua tim berselisih mengenai pengodean posisi: GLM membuang RoPE untuk NoPE, sementara Qwen mempertahankan RoPE setelah varian NoPE gagal menghentikan generasi pasca-pelatihan.

Konvergensi ini menunjukkan arah industri bersama untuk pemodelan konteks panjang yang efisien, meskipun MiniMax tetap menjadi penentang dengan menolak perhatian linier karena defisit penalaran.

Kepentingan 2/3 MarkTechPost Zhipu AI Alibaba (Qwen) Inference efficiency Training methods

Artikel terkait

arxiv arXiv cs.CL · 50 hari lalu · 7 tayangan

Mendistilasi deepseek-r1:8B ke Qwen3-0.6B memungkinkan pengayaan teks terstruktur perangkat-on yang cepat

Peneliti menunjukkan bahwa mendistilasi guru penalaran 8B (deepseek-r1:8B) ke dalam model siswa 0,6B (Qwen3-0.6B melalui QLoRA) memungkinkan ekstraksi terstruktur volume tinggi dengan latensi dan biaya yang secara signifikan lebih rendah. Studi ini mengevaluasi pendekatan ini pada pemetaan artikel berita ke objek JSON yang berisi ringkasan dan label kategorikal, membandingkan model yang didistilasi dengan baseline few-shot prompting dan constrained decoding.

github llama.cpp · 1 hari lalu · 11 tayangan

llama.cpp menambahkan dukungan arsitektur Qwen3.8-Flash-Next (qwen4exp)

Proyek llama.cpp telah menambahkan dukungan untuk arsitektur model Qwen3.8-Flash-Next (qwen4exp), mengimplementasikan komponen spesifiknya termasuk hiper-koneksi, jaringan delta tergerbang, Campuran Ahli, dan embedding hash n-gram PLE.

lab Hugging Face Blog · 3 hari lalu · 2 tayangan

Papers with Code menggunakan layanan Hugging Face untuk pencarian paper hibrida

Papers with Code telah mengimplementasikan sistem pencarian hibrida yang menggabungkan pengambilan berbasis kata kunci dan semantik untuk membantu pengguna menemukan makalah penelitian AI yang relevan. Arsitektur ini memanfaatkan Hugging Face Jobs, Storage Buckets, dan Inference Endpoints untuk mengelola pipa embedding dan melayani kueri dengan latensi rendah.

arxiv arXiv cs.LG · 5 hari lalu · 14 tayangan

Quantization-Aware Healing memulihkan LLM 4-bit lebih cepat daripada QAT

Para penulis memperkenalkan Quantization-Aware Healing (QAH), sebuah pipa yang mendistilasi siswa 4-bit langsung dari model tanpa kompresi untuk memulihkan kinerja yang hilang selama kompresi struktural dan kuantisasi. Diterapkan pada GPT-OSS 120B, metode ini menghasilkan Hypernova-60B, yang menyamai atau mengalahkan sumber bfloat16 pada 7 dari 9 benchmark sambil menggunakan sekitar 4 kali lebih sedikit memori bobot.

arxiv arXiv cs.CL · 5 hari lalu · 14 tayangan

Quantization-Aware Healing memulihkan LLM 4-bit lebih cepat dari QAT

Para penulis memperkenalkan Quantization-Aware Healing (QAH), sebuah metode untuk memulihkan kemampuan penalaran dan pemrograman pada model bahasa besar 4-bit yang terkompresi secara struktural. Berbeda dengan pelatihan sadar kuantisasi standar yang menyesuaikan ulang model terkompresi, QAH mendistilasi siswa 4-bit langsung dari model asli yang tidak terkompresi.