media r/LocalLLaMA · 50 hari lalu · sumber: 56 hari lalu · open_models

NVIDIA merilis model Qwen3.6-27B-NVFP4

Diterjemahkan dari English → Bahasa Indonesia

NVIDIA telah merilis model Qwen3.6-27B-NVFP4 di Hugging Face.

Checkpoint kini tersedia untuk diunduh.

Kepentingan 1/3 r/LocalLLaMA NVIDIA Alibaba (Qwen) Inference efficiency Open weights

Quantization-Aware Healing memulihkan LLM 4-bit lebih cepat daripada QAT

Para penulis memperkenalkan Quantization-Aware Healing (QAH), sebuah pipa yang mendistilasi siswa 4-bit langsung dari model tanpa kompresi untuk memulihkan kinerja yang hilang selama kompresi struktural dan kuantisasi. Diterapkan pada GPT-OSS 120B, metode ini menghasilkan Hypernova-60B, yang menyamai atau mengalahkan sumber bfloat16 pada 7 dari 9 benchmark sambil menggunakan sekitar 4 kali lebih sedikit memori bobot.

arxiv arXiv cs.CL · 22 jam lalu · 9 tayangan

Quantization-Aware Healing memulihkan LLM 4-bit lebih cepat dari QAT

Para penulis memperkenalkan Quantization-Aware Healing (QAH), sebuah metode untuk memulihkan kemampuan penalaran dan pemrograman pada model bahasa besar 4-bit yang terkompresi secara struktural. Berbeda dengan pelatihan sadar kuantisasi standar yang menyesuaikan ulang model terkompresi, QAH mendistilasi siswa 4-bit langsung dari model asli yang tidak terkompresi.

media r/LocalLLaMA · 8 hari lalu · 16 tayangan

Quantization-Aware Healing memulihkan LLM 4-bit lebih cepat daripada QAT

Quantization-Aware Healing memulihkan LLM 4-bit lebih cepat dari QAT

NVIDIA melayani Qwen 3.8 2.4T di GB300 NVL72 pada 4K tok/s per GPU

Qwen merilis bobot terbuka untuk Qwen 3.8 27B

Alibaba merilis bobot terbuka Qwen3.8-2.4T-A95B untuk NVIDIA GB300 NVL72