media r/LocalLLaMA · 47일 전 · open_models

Qwen, Qwen 3.8 27B용 오픈 가중치 출시

번역 English → 한국어

Qwen이 자체 Qwen 3.8 27B 모델의 오픈 가중치를 출시했습니다. 체크포인트는 Hugging Face에서 사용할 수 있습니다.

중요도 2/3 r/LocalLLaMA Alibaba (Qwen) Inference efficiency Open weights

ISTA, Qwen3.8-Flash-Next 및 전문가 50% 가지치기된 Coder 빌드에 GSQ-RCO GGUF 출시

ISTA 심층 알고리즘 및 시스템 연구소는 희소 혼합 전문가 모델인 Qwen3.8-Flash-Next의 양자화된 GGUF 버전을 출시했으며, 동시에 전문가 절반을 제거한 실험적 기능 타겟팅 빌드도 함께 공개했습니다.

arxiv arXiv cs.LG · 38일 전 · 조회수 47회

Quantization-Aware Healing이 QAT보다 빠르게 4비트 LLM을 복원

저자들은 Quantization-Aware Healing (QAH)을 소개했습니다. 이는 구조적 압축 및 양자화 동안 손실된 성능을 회복하기 위해 비압축 모델에서 직접 4비트 학생 모델을 증류하는 파이프라인입니다. GPT-OSS 120B에 적용하면 이 방법은 Hypernova-60B를 생성하며, 9개 벤치마크 중 7개에서 bfloat16 소스와 동등하거나 더 나은 성능을 보이며 가중치 메모리를 약 4배 적게 사용합니다.

arxiv arXiv cs.CL · 38일 전 · 조회수 49회

양화 인식 치유가 QAT보다 빠르게 4비트 LLM을 복원

저자들은 구조적으로 압축된 4비트 대규모 언어 모델의 추론 및 코딩 능력을 복원하는 방법인 양화 인식 치유(Quantization-Aware Healing, QAH)를 소개합니다. 표준 양화 인식 훈련이 압축된 모델을 다시 적합시키는 것과 달리, QAH는 원래 비압축 모델에서 4비트 학생 모델을 직접 증류합니다.

media MarkTechPost · 75일 전 · 조회수 67회

PrismML이 Bonsai 27B를 출시하여 Qwen3.6-27B를 1비트 및 삼진 가중치로 압축

PrismML은 재학습 없이 노트북과 스마트폰에서 대규모 다중모달 모델을 실행할 수 있는 Qwen3.6-27B 모델의 저비트 양자화인 Bonsai 27B를 출시했습니다.

media r/LocalLLaMA · 77일 전 · 조회수 24회

UD-Q2_K_XL로 양자화된 Qwen3.5 122B A10B는 64GB RAM에 맞으며 내부 지식을 개선합니다

한 사용자가 UD-Q2_K_XL로 양자화된 Qwen3.5 122B A10B가 시스템 RAM 64GB에 들어갈 수 있음을 보여줌으로써, 해당 제약 조건에 대한 이전 최상위 옵션을 대체했습니다.