media Hugging Face Forums · 1 jam lalu · open_models

Dev-4B menggabungkan keputusan cepat yang dikalibrasi dengan eskalasi penalaran berbasis risiko

Diterjemahkan dari English → Bahasa Indonesia

Penulis merilis Dev-4B, model lokal kecil berbasis Qwen3-4B-Instruct yang menjawab pertanyaan ketik tentang dokumen dengan kepercayaan terkalibrasi. Ini menggunakan router bawaan untuk memutuskan apakah akan memberikan jawaban cepat atau beralih ke penalaran langkah demi langkah hanya ketika prediksi awal kemungkinan salah.

Dievaluasi pada 7.100 pertanyaan uji beku, Dev-4B mencapai akurasi 81,8% dalam 1,37 detik per pertanyaan.
Ini melampaui jawaban selalu cepat (76,3%, 0,16 s/pertanyaan) dan pendekatan selalu bernalar (78,0%, 10,2 s/pertanyaan).
Model ini menggunakan adapter LoRA yang diaktifkan untuk pertanyaan dan router kecil, dengan build MLX 8-bit tersedia.

Alat ini dirancang untuk eksperimen kalibrasi lokal dan pengalihan offline, khususnya untuk pengembang indie Mac.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Alibaba (Qwen) Inference efficiency Open weights

Baca aslinya

ISTA merilis GGUF GSQ-RCO untuk Qwen3.8-Flash-Next dan build Coder yang memangkas 50% ahli

Lab Algoritma dan Sistem Deep ISTA telah merilis versi GGUF terkuantisasi dari model sparse mixture-of-experts Qwen3.8-Flash-Next, bersama dengan build eksperimental yang ditargetkan pada kemampuan tertentu dengan separuh ahlinya dihilangkan.

arxiv arXiv cs.LG · 43 hari lalu · 71 tayangan

Quantization-Aware Healing memulihkan LLM 4-bit lebih cepat daripada QAT

Para penulis memperkenalkan Quantization-Aware Healing (QAH), sebuah pipa yang mendistilasi siswa 4-bit langsung dari model tanpa kompresi untuk memulihkan kinerja yang hilang selama kompresi struktural dan kuantisasi. Diterapkan pada GPT-OSS 120B, metode ini menghasilkan Hypernova-60B, yang menyamai atau mengalahkan sumber bfloat16 pada 7 dari 9 benchmark sambil menggunakan sekitar 4 kali lebih sedikit memori bobot.

arxiv arXiv cs.CL · 43 hari lalu · 75 tayangan

Quantization-Aware Healing memulihkan LLM 4-bit lebih cepat dari QAT

Para penulis memperkenalkan Quantization-Aware Healing (QAH), sebuah metode untuk memulihkan kemampuan penalaran dan pemrograman pada model bahasa besar 4-bit yang terkompresi secara struktural. Berbeda dengan pelatihan sadar kuantisasi standar yang menyesuaikan ulang model terkompresi, QAH mendistilasi siswa 4-bit langsung dari model asli yang tidak terkompresi.

media r/LocalLLaMA · 52 hari lalu · 48 tayangan

Qwen merilis bobot terbuka untuk Qwen 3.8 27B

Qwen telah merilis bobot terbuka untuk model Qwen 3.8 27B-nya. Checkpoint tersedia di Hugging Face.

media MarkTechPost · 80 hari lalu · 92 tayangan

PrismML merilis Bonsai 27B, mengompresi Qwen3.6-27B ke bobot 1-bit dan ternary

PrismML telah merilis Bonsai 27B, sebuah kuantisasi bit-rendah dari model Qwen3.6-27B yang memungkinkan menjalankan model multimodal besar di laptop dan ponsel tanpa pelatihan ulang.