media r/LocalLLaMA · 1시간 전 · open_models

G9v3-39A5B MoE 모델이 artificialanalysis에서 강력한 결과 보임

번역 English → 한국어

G9v3-39A5B 모델은 artificialanalysis에서의 성능으로 주목받고 있으며, 보고에 따르면 Qwen 3.6 27B보다 위에 랭크되어 있습니다.

이는 Mixture of Experts (MoE) 아키텍처입니다.
G9v3 형식을 지원하기 위한 llama.cpp 기능 브랜치가 존재합니다.
GGUF 체크포인트는 Hugging Face를 통해 이용 가능합니다.

중요도 2/3 r/LocalLLaMA Inference efficiency Local inference

Celestium 파이프라인이 적응형 FP16과 CPU 폴백을 통해 4GB-8GB GPU에서 SDXL 실행 가능

Celestium의 하드웨어 비종속 추론 파이프라인에 대한 진단 결과, 적응형 FP16 정밀도와 자율적 메모리 정리 기능을 활용하여 Stable Diffusion XL이 낮은 VRAM을 가진 GPU(4GB, 6GB, 8GB)에서 안정적으로 실행될 수 있음을 보여줍니다. 이 접근 방식은 다단계 파이프라인 중 단편화 급증을 방지하고, GPU VRAM이 고갈되었을 때 생성을 유지하기 위해 비상 CPU 모드를 활용합니다.

github llama.cpp · 11시간 전 · 조회수 1회

llama.cpp b10505에 dedup-cache-models 프리셋 옵션 추가

llama.cpp 프로젝트가 버전 b10505를 출시했으며, 이는 서버 구성 요소에 대한 새로운 `dedup-cache-models` 프리셋 옵션을 도입합니다.

media Hugging Face Forums · 2일 전 · 조회수 3회

푸리에 크기 KV 캐시 양자화로 동일한 메모리에서 컨텍스트 길이를 두 배로

ntrillard는 K와 V 캐시 값의 푸리에 크기 스펙트럼을 4비트로 양자화하고 위상은 완전 정밀도로 유지할 때, Gemma-3-1B에서 fp16 기준 대비 96.9% 토큰 일치율을 달성하며 표준 min-max 양자화 대비 5-10배 개선된다고 보여줍니다.

github llama.cpp · 5일 전 · 조회수 26회

llama.cpp가 MXFP4 재패킹 및 채팅 템플릿과 함께 Kimi-K3 모델 지원을 추가함

llama.cpp 프로젝트는 Kimi-K3 텍스트 모델에 대한 지원을 추가했으며, 이전의 Kimi-Linear-48B에는 없었던 하이브리드 KDA(선형) + MLA(전체) 어텐션 아키텍처와 다섯 가지 특정 아키텍처 기능을 구현했습니다.

github llama.cpp · 5일 전 · 조회수 21회

llama.cpp b10447이 yield_to_queue 스레드 모델을 재설계

llama.cpp 프로젝트는 `yield_to_queue` 스레드 모델의 재설계를 포함한 빌드 b10447을 출시했습니다. 이 변경 사항에는 워커에서 `common_speculative_process`를 실행하고 워커-메인 스레드 디자인을 교체하는 작업이 포함됩니다.