NVIDIA가 Hugging Face에 Qwen3.6-27B-NVFP4 모델을 출시했습니다.
체크포인트는 이제 다운로드할 수 있습니다.
media
r/LocalLLaMA
·
50일 전
·
출처: 56일 전
·
open_models
NVIDIA, Qwen3.6-27B-NVFP4 모델 출시
번역 English → 한국어
관련 기사
arxiv
arXiv cs.LG
·
22시간 전
·
조회수 12회
Quantization-Aware Healing이 QAT보다 빠르게 4비트 LLM을 복원
저자들은 Quantization-Aware Healing (QAH)을 소개했습니다. 이는 구조적 압축 및 양자화 동안 손실된 성능을 회복하기 위해 비압축 모델에서 직접 4비트 학생 모델을 증류하는 파이프라인입니다. GPT-OSS 120B에 적용하면 이 방법은 Hypernova-60B를 생성하며, 9개 벤치마크 중 7개에서 bfloat16 소스와 동등하거나 더 나은 성능을 보이며 가중치 메모리를 약 4배 적게 사용합니다.
arxiv
arXiv cs.CL
·
22시간 전
·
조회수 9회
양화 인식 치유가 QAT보다 빠르게 4비트 LLM을 복원
저자들은 구조적으로 압축된 4비트 대규모 언어 모델의 추론 및 코딩 능력을 복원하는 방법인 양화 인식 치유(Quantization-Aware Healing, QAH)를 소개합니다. 표준 양화 인식 훈련이 압축된 모델을 다시 적합시키는 것과 달리, QAH는 원래 비압축 모델에서 4비트 학생 모델을 직접 증류합니다.
media
r/LocalLLaMA
·
8일 전
·
조회수 16회
NVIDIA, GB300 NVL72에서 GPU당 4K tok/s로 Qwen 3.8 2.4T 서빙
NVIDIA는 구성 가능한 추론 기능을 갖춘 Qwen 3.8 2.4T 파라미터 모델을 자체 GB300 NVL72 하드웨어 플랫폼에서 서빙하는 것을 시연했습니다.
media
r/LocalLLaMA
·
10일 전
·
조회수 8회
Qwen, Qwen 3.8 27B용 오픈 가중치 출시
Qwen이 자체 Qwen 3.8 27B 모델의 오픈 가중치를 출시했습니다. 체크포인트는 Hugging Face에서 사용할 수 있습니다.
lab
NVIDIA Technical Blog
·
12일 전
·
조회수 14회
알리바바, NVIDIA GB300 NVL72용 Qwen3.8-2.4T-A95B 오픈 가중치 출시
알리바바는 오픈 생태계에 최전선 수준의 능력을 제공하도록 설계된 가장 큰 오픈 가중치 모델인 Qwen3.8-2.4T-A95B(Qwen3.8-Max로도 알려짐)의 오픈 가중치를 출시했습니다.