github llama.cpp · 1시간 전 · inference

llama.cpp b10089이 CUDA GET_ROWS에 완전한 k-quant 및 i-quant 지원 추가

번역 English → 한국어

llama.cpp b10089 릴리스는 k-quants, i-quants 및 mxfp4 양자화 형식을 지원하도록 CUDA GET_ROWS 작업을 확장합니다. 이 변경으로 모든 양자화된 GGML 유형이 이제 임베딩 조회를 위한 직접 장치 경로를 사용할 수 있게 됩니다.

Q4_K_M과 같은 일반적인 GGUF 레시피를 처리하기 위해 k-quant 지원(q2_K에서 q6_K까지) 추가.
32스레드 레이아웃을 가진 9개의 i-quants로 공유 슈퍼블록 디쿼랜자 확장.
mxfp4 디쿼랜자를 공유 헬퍼로 이동하여 CUDA의 GET_ROWS 유형 커버리지 완료.
불필요한 호스트 폴백을 방지하기 위해 32값 서브블록 유형(iq4_nl 및 mxfp4)에 대해서만 행 크기 검사를 게이트합니다.

이러한 양자화 유형에 대해 스케줄러가 호스트로 폴백하는 것을 방지함으로써 이 업데이트는 단일 장치 그래프에서 각 토큰마다 전체 임베딩 행렬을 복사하는 것을 피합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency Local inference

원문 보기

llama.cpp b10085 위치 임베딩 보간 정렬로 Qwen3-VL 그라운딩 수정

llama.cpp 프로젝트는 Qwen3-VL 비전 모델의 위치 임베딩 보간에 대한 수정을 포함하는 빌드 b10085를 출시하여 그라운딩 좌표 불일치를 해결했습니다.

github llama.cpp · 1일 전

llama.cpp b10076, int4 복사로 get_rows 벡터화하여 27% 속도 향상

llama.cpp 프로젝트는 CUDA 백엔드의 `get_rows` 작업을 int4 복사를 사용하여 벡터화하는 성능 최적화를 도입한 빌드 b10076을 출시했습니다. 이 변경은 요소별 루프에서 행 불변 작업을 끌어내고, 연속된 동일 타입 데이터에 대해 스레드당 16바이트를 복사하는 벡터화된 경로를 추가합니다.

github llama.cpp · 3일 전 · 조회수 1회

llama.cpp b10069이 Adreno MUL_MAT에 대한 OpenCL 브로드캐스트 지원을 추가함

llama.cpp 프로젝트는 Qualcomm Adreno GPU에 대한 특정 OpenCL 업데이트를 포함한 빌드 b10069을 출시했습니다. 주요 변경 사항에는 Adreno MUL_MAT 커널에 대한 브로드캐스트 작업 지원과 llama-server에서 멀티스트림 기능을 활성화하기 위해 Q8_0 MUL_MAT 변형의 뷰 오프셋을 준수하는 것이 포함됩니다.

media Hugging Face Forums · 4일 전 · 조회수 2회

zhongkaifu가 GGUF 모델을 위한 네이티브 .NET LLM 추론 엔진인 TensorSharp를 출시

zhongkaifu는 Windows, macOS 및 Linux를 지원하며 C#으로 완전히 구축된 오픈소스 로컬 LLM 추론 엔진인 TensorSharp를 출시했습니다. 이 엔진은 Unsloth의 GGUF 모델을 처리하며, 멀티모달 기능을 갖춘 Gemma 4와 Qwen 3.6을 포함하고 OpenAI 및 Ollama와 호환되는 API를 제공합니다.

github llama.cpp · 4일 전 · 조회수 1회

llama.cpp b10068이 DFlash에 대해 주입된 K/V 캐시를 회전합니다

llama.cpp 프로젝트는 DFlash 모델 구현에 변경 사항을 도입한 버전 b10068을 출시했습니다. 이 업데이트는 src/models/dflash.cpp를 수정하여 K/V 양자화가 사용될 때 주입된 키/값 (K/V) 캐시를 회전합니다.