github llama.cpp · 방금 · inference

llama.cpp b10796이 Nemotron-3-Puzzle 로딩을 수정하기 위해 n_expert_used_max 추가

번역 English → 한국어

llama.cpp 프로젝트는 레이어당 전문가 수가 다른 모델을 지원하기 위해 모델 로더에 변경 사항을 포함하는 빌드 b10796을 출시했습니다.

모델 로딩 중 전문가 레이어 검사를 처리하기 위해 `n_expert_used_max` 함수를 추가했습니다.
어설션 실패 대신 `hparams.n_expert_used_max`를 사용하도록 `llama_model_base::load_hparams`를 업데이트했습니다.
NVIDIA Nemotron-3-Puzzle-75B-A9B와 같이 특정 전문가 구성을 가진 모델을 로딩할 때 발생하는 오류를 해결했습니다.

이 업데이트로 인해 llama.cpp는 레이어 간에 사용되는 전문가 수가 다른 모델을 올바르게 로딩하고 처리할 수 있으며, 초기화 중 어설션 실패를 방지합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

llama.cpp b10791이 OpenCL 양자화된 lm_head 및 디코딩 GEMV 최적화를 추가함

llama.cpp 프로젝트가 버전 b10791을 출시하여 양자화된 언어 모델 헤드와 디코딩 GEMV 연산에 대한 상당한 OpenCL 최적화를 도입했습니다. 이 업데이트에는 추론 디코딩과 멀티 토큰 예측에 관련된 미디엄 배치 GEMM 개선 사항도 포함되어 있습니다.

github llama.cpp · 1일 전 · 조회수 2회

ggml-org, 파인튜닝 KV 캐시 수정이 포함된 llama.cpp b10774 출시

ggml-org 프로젝트가 llama.cpp 버전 b10774를 출시했으며, 여기에는 파인튜닝 모듈의 KV 캐시 누락 문제에 대한 수정이 포함되어 있습니다.

github llama.cpp · 1일 전 · 조회수 7회

llama.cpp b10763에서 preserve_reasoning 기본 활성화

llama.cpp 프로젝트는 `preserve_reasoning` 채팅 템플릿 키워드 인수의 기본 동작을 변경하는 빌드 b10763을 출시했습니다. 서버는 이제 이 kwarg의 유효 상태를 로깅하고 지원되는 템플릿에서 기본적으로 활성화된 경우 경고를 발행합니다.

github llama.cpp · 2일 전 · 조회수 3회

llama.cpp b10760이 Qwen3-tts-0.6b 추론 안정성 수정

llama.cpp 프로젝트는 빌드 b10760을 출시했으며, 이는 추론 중 수치적 불안정성을 방지하기 위해 Qwen3-tts-0.6B 모델에 대한 특정 수정을 포함합니다.

github llama.cpp · 2일 전 · 조회수 3회

llama.cpp b10751, CUDA용 MoE 가중 전문가 축적을 통합

llama.cpp 프로젝트가 빌드 b10751을 출시했으며, 이는 CUDA에서 MoE(Mixture of Experts)의 가중 전문가 축적에 대한 통합 커널을 도입합니다. 이 최적화는 이전의 두 개의 물리적 커널을 실행하던 기본값을 단일 가중 축적 커널로 대체하여 중간 전역 메모리 트래픽을 줄입니다.