Qwen已发布其Qwen 3.8 27B模型的开源权重。 该检查点可在Hugging Face上获取。
media
r/LocalLLaMA
·
47 天前
·
open_models
Qwen发布Qwen 3.8 27B的开源权重
译自 English → 中文
相关文章
media
r/LocalLLaMA
·
2 天前
·
19 次浏览
ISTA发布Qwen3.8-Flash-Next的GSQ-RCO GGUF及50%专家剪枝的Coder构建
ISTA深度算法与系统实验室发布了稀疏混合专家模型Qwen3.8-Flash-Next的量化GGUF版本，以及一个移除了半数专家的实验性能力定向构建版本。
arxiv
arXiv cs.LG
·
38 天前
·
47 次浏览
量化感知修复比QAT更快地恢复4位LLM
作者介绍了量化感知修复（QAH），一种直接从 uncompressed 模型中蒸馏4位学生以恢复在结构压缩和量化过程中丢失的性能的管道。应用于 GPT-OSS 120B，该方法生成了 Hypernova-60B，它在9个基准测试中的7个上与 bfloat16 源相匹配或超越，同时使用的权重内存大约减少了4倍。
arxiv
arXiv cs.CL
·
38 天前
·
49 次浏览
量化感知修复比QAT更快地恢复4位LLM
作者提出了量化感知修复（QAH），一种用于恢复结构压缩的4位大语言模型的推理和编码能力的方法。与重新拟合压缩模型的标准量化感知训练不同，QAH直接从原始未压缩模型中蒸馏出4位学生模型。
media
MarkTechPost
·
75 天前
·
67 次浏览
PrismML发布Bonsai 27B，将Qwen3.6-27B压缩至1位和三元权重
PrismML发布了Bonsai 27B，这是对Qwen3.6-27B模型的低比特量化版本，能够在不重新训练的情况下在笔记本电脑和手机上运行大型多模态模型。
media
r/LocalLLaMA
·
77 天前
·
24 次浏览
UD-Q2_K_XL 格式的 Qwen3.5 122B A10B 可容纳于 64GB RAM 并提升内部知识
用户展示了使用 UD-Q2_K_XL 量化的 Qwen3.5 122B A10B 可以放入 64GB 系统 RAM 中，取代了该限制条件下的先前最佳选项。