github llama.cpp · 1시간 전 · inference

llama.cpp b11009이 gemma4 및 qwen35의 융합 QKV에 대한 분할 상태를 수정

번역 English → 한국어

llama.cpp 프로젝트는 융합 QKV 어텐션 레이어의 분할 상태 및 세분성 계산과 관련된 중요한 문제를 해결하는 빌드 b11009을 출시했습니다.

모델 코드는 이제 n_head * n_embd_head_k를 기반으로 attn_qkv에 대한 분할 상태를 올바르게 계산하여, n_embd가 5376이지만 Q가 8192인 --fuse-qkv 플래그를 사용하는 gemma4 모델과의 호환성 문제를 해결했습니다.
qwen35 및 qwen35moe 아키텍처에 대한 융합 풀 어텐션 레이어 지원이 추가되었습니다.
Qwen 모델의 QGate 분할에 대한 추가 작업을 추적하기 위해 TODO 태그 [TAG_SPLIT_QGATE_QWEN]가 추가되었습니다.

이 릴리스는 gemma4 및 qwen35의 융합 QKV 연산과 관련된 특정 모델 구성이 상태 계산 오류 없이 올바르게 작동함을 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp b11006이 K-Quants Q4_K 및 Q6_K에 대한 Hexagon 지원을 추가

llama.cpp 프로젝트는 K-Quantization 형식을 처리하기 위해 Qualcomm Hexagon 프로세서에 대한 지원을 도입한 버전 b11006을 출시했습니다. 이 업데이트는 Hexagon 아키텍처에서 Q4_K 및 Q6_K 양자화 수준을 위한 특정 커널을 구현합니다.

github llama.cpp · 4시간 전 · 조회수 2회

llama.cpp b11005 그래프 분할을 줄이기 위해 제로화된 rope probe를 수용

llama.cpp 프로젝트는 supports_op에서 제로화된 rope probes를 수용하기 위한 Hexagon 백엔드 수정 사항을 포함하는 버전 b11005를 출시했습니다.

github llama.cpp · 5시간 전 · 조회수 2회

llama.cpp가 HrmTextForCausalLM (DFM Mimir 1B) 지원을 추가함

llama.cpp 프로젝트는 DFM Mimir 1B 모델의 추론을 가능하게 하는 HrmTextForCausalLM 아키텍처에 대한 지원을 추가했습니다. 이 구현은 동일한 토큰 스트림에서 두 개의 트랜스포머 스택을 교대로 실행하는 모델의 고유한 구조를 처리하기 위해 새로운 GGUF 작성기 및 로더를 도입합니다.

github llama.cpp · 7시간 전 · 조회수 1회

llama.cpp b11001, RISC-V에서 int16 전치 왜곡 수정

llama.cpp 프로젝트는 RISC-V 아키텍처에서 int16 데이터를 처리하는 `permute_transpose_impl` 함수에 대한 중요한 수정 사항을 포함하는 빌드 b11001을 출시했습니다.

github llama.cpp · 13시간 전 · 조회수 1회

llama.cpp b10995, Vulkan MUL_MAT_ID BN/2 테일을 무조건적으로 만듦

llama.cpp 프로젝트는 Vulkan 백엔드의 MUL_MAT_ID 연산 처리를 수정하는 빌드 b10995를 출시했습니다. 구체적으로 이 변경은 BNover2의 기본값으로 BN/2를 사용하고 BNover4에 대한 비활성화된 폴백으로 사용함으로써 BN/2 테일을 무조건적으로 만들며, 해당 브랜치에서 활성화 게이트를 제거합니다.