Qwenは、そのQwen 3.8 27Bモデルのオープンウェイトをリリースしました。 チェックポイントはHugging Faceで利用可能です。
media
r/LocalLLaMA
·
47日前
·
open_models
QwenがQwen 3.8 27Bのオープンウェイトをリリース
翻訳元 English → 日本語
関連記事
media
r/LocalLLaMA
·
2日前
·
19 回表示
ISTAがQwen3.8-Flash-Nextおよび50%专家プルーニング済みCoderビルド向けにGSQ-RCO GGUFをリリース
ISTAディープアルゴリズム＆システムラボは、スパース混合ExpertsモデルQwen3.8-Flash-Nextの量子化GGUF版と、そのExpertsの半分を削除した実験的な能力特化ビルドをリリースしました。
arxiv
arXiv cs.LG
·
38日前
·
47 回表示
Quantization-Aware Healing は QAT よりも速く 4 ビット LLM を回復
著者は Quantization-Aware Healing (QAH) を導入しました。これは、構造的圧縮と量子化中に失われたパフォーマンスを回復するために、非圧縮モデルから直接 4 ビットの学生モデルを蒸留するパイプラインです。GPT-OSS 120B に適用すると、この手法は Hypernova-60B を生成し、9 つのベンチマークのうち 7 つで bfloat16 ソースと同等またはそれ以上のパフォーマンスを発揮しながら、重みメモリを約 4 分の 1 に抑えています。
arxiv
arXiv cs.CL
·
38日前
·
49 回表示
Quantization-Aware HealingはQATより速く4ビットLLMを回復
著者は、構造的に圧縮された4ビット大規模言語モデルの推論およびコーディング能力を回復させる手法であるQuantization-Aware Healing（QAH）を紹介します。標準的な量子化 aware トレーニングが圧縮モデルを再適合させるのとは異なり、QAHは元の非圧縮モデルから4ビット学生モデルを直接蒸留します。
media
MarkTechPost
·
75日前
·
67 回表示
PrismMLがBonsai 27Bをリリース、Qwen3.6-27Bを1ビットおよびternary重みに圧縮
PrismMLは、再学習なしでラップトップやスマートフォンで大規模マルチモーダルモデルを実行できるようにするQwen3.6-27Bモデルの低ビット量子化であるBonsai 27Bをリリースした。
media
r/LocalLLaMA
·
77日前
·
24 回表示
UD-Q2_K_XLで量子化されたQwen3.5 122B A10Bは64GB RAMに収まり、内部知識が向上
あるユーザーが、UD-Q2_K_XLで量子化されたQwen3.5 122B A10BがシステムRAM 64GBに収まることを実証し、この制約条件下での以前の最良オプションを置き換えました。