github llama.cpp · 1시간 전 · inference

llama.cpp b10085 위치 임베딩 보간 정렬로 Qwen3-VL 그라운딩 수정

번역 English → 한국어

llama.cpp 프로젝트는 Qwen3-VL 비전 모델의 위치 임베딩 보간에 대한 수정을 포함하는 빌드 b10085를 출시하여 그라운딩 좌표 불일치를 해결했습니다.

이 변경은 기본雙線形+안티앨리어싱(align_corners=False)에서 align_corners=True로 보간 방법을 전환하여 transformers 참조 구현과 일치합니다.
이는 이전에 이미지 크기에 따라 증가하고 비정사각형 이미지의 경우 축마다 달랐던 그라운딩 좌표의 스케일링 문제를 수정합니다.
macOS(Apple Silicon 및 Intel), iOS, Linux(CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows(CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) 및 openEuler에서 바이너리를 사용할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp b10069이 Adreno MUL_MAT에 대한 OpenCL 브로드캐스트 지원을 추가함

llama.cpp 프로젝트는 Qualcomm Adreno GPU에 대한 특정 OpenCL 업데이트를 포함한 빌드 b10069을 출시했습니다. 주요 변경 사항에는 Adreno MUL_MAT 커널에 대한 브로드캐스트 작업 지원과 llama-server에서 멀티스트림 기능을 활성화하기 위해 Q8_0 MUL_MAT 변형의 뷰 오프셋을 준수하는 것이 포함됩니다.

github llama.cpp · 4일 전 · 조회수 1회

llama.cpp b10068이 DFlash에 대해 주입된 K/V 캐시를 회전합니다

llama.cpp 프로젝트는 DFlash 모델 구현에 변경 사항을 도입한 버전 b10068을 출시했습니다. 이 업데이트는 src/models/dflash.cpp를 수정하여 K/V 양자화가 사용될 때 주입된 키/값 (K/V) 캐시를 회전합니다.

github llama.cpp · 4일 전 · 조회수 1회

llama.cpp b10067, DeepSeek-V4 라우팅 테이블을 양자화에서 제외

llama.cpp 프로젝트는 DeepSeek-V4 모델을 올바르게 처리하기 위한 `llama-quantize` 도구에 대한 수정 사항을 포함하는 버전 b10067을 출시했습니다. 이 업데이트는 양자화기가 i32 토큰-투-엑스퍼트 인덱스 테이블인 `ffn_gate_tid2eid` 텐서를 float 유형으로 변환하려고 시도하는 것을 방지합니다.

github llama.cpp · 5일 전

llama.cpp b10066이 OpenCL을 통해 kernel_gemm_moe_q6_k_f32_ns 커널 지원 추가

llama.cpp 프로젝트가 버전 b10066을 출시하여 OpenCL을 통해 `kernel_gemm_moe_q6_k_f32_ns` 커널 지원을 도입했습니다. 이 업데이트는 프레임워크 내에서 이 특정 바이너리 커널 라이브러리를 로드하고 사용할 수 있게 합니다.

github llama.cpp · 5일 전 · 조회수 5회

OpenCL 전치 최적화가 포함된 llama.cpp b10064 릴리스

llama.cpp 프로젝트는 OpenCL 백엔드 변경 사항이 포함된 버전 b10064를 출시했습니다. 이 업데이트는 noshuffle scales를 전치하여 결합된 읽기를 활성화함으로써 q4_K 양자화 형식을 수정합니다.