NVIDIA 已在 Hugging Face 上发布了 Qwen3.6-27B-NVFP4 模型。
该 checkpoint 现已可供下载。
media
r/LocalLLaMA
·
50 天前
·
来源： 56 天前
·
open_models
NVIDIA 发布 Qwen3.6-27B-NVFP4 模型
译自 English → 中文
相关文章
arxiv
arXiv cs.LG
·
22 小时前
·
12 次浏览
量化感知修复比QAT更快地恢复4位LLM
作者介绍了量化感知修复（QAH），一种直接从 uncompressed 模型中蒸馏4位学生以恢复在结构压缩和量化过程中丢失的性能的管道。应用于 GPT-OSS 120B，该方法生成了 Hypernova-60B，它在9个基准测试中的7个上与 bfloat16 源相匹配或超越，同时使用的权重内存大约减少了4倍。
arxiv
arXiv cs.CL
·
23 小时前
·
9 次浏览
量化感知修复比QAT更快地恢复4位LLM
作者提出了量化感知修复（QAH），一种用于恢复结构压缩的4位大语言模型的推理和编码能力的方法。与重新拟合压缩模型的标准量化感知训练不同，QAH直接从原始未压缩模型中蒸馏出4位学生模型。
media
r/LocalLLaMA
·
8 天前
·
16 次浏览
NVIDIA在GB300 NVL72上以每GPU 4K tok/s的速度服务Qwen 3.8 2.4T
NVIDIA展示了在其GB300 NVL72硬件平台上提供具有可配置推理能力的Qwen 3.8 2.4T参数模型。
media
r/LocalLLaMA
·
10 天前
·
8 次浏览
Qwen发布Qwen 3.8 27B的开源权重
Qwen已发布其Qwen 3.8 27B模型的开源权重。 该检查点可在Hugging Face上获取。
lab
NVIDIA Technical Blog
·
12 天前
·
14 次浏览
阿里巴巴发布适用于 NVIDIA GB300 NVL72 的 Qwen3.8-2.4T-A95B 开源权重
阿里巴巴发布了其最大开源模型 Qwen3.8-2.4T-A95B（也称为 Qwen3.8-Max）的开源权重，旨在为开放生态带来接近前沿的能力。