github llama.cpp · 1시간 전 · inference

llama.cpp b10926 릴리스는 지원되지 않는 tq1_0 양자화를 우아하게 처리합니다

번역 English → 한국어

llama.cpp 프로젝트가 지원되지 않는 tq1_0 양자화를 우아하게 실패하도록 처리하는 수정 사항을 포함한 버전 b10926을 출시했습니다. 이 업데이트는 특정 양자화 형식을 마주할 때 안정성을 개선하기 위해 이슈 #28681을 해결합니다.

이 릴리스는 macOS(Apple Silicon 및 Intel), Linux(Ubuntu용 CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL 백엔드), Android(arm64), Windows(CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0) 및 openEuler 아키텍처에 대한 바이너리를 제공합니다.

이 업데이트는 모델이 tq1_0 양자화_scheme를 사용할 때 사용자가 충돌 없이 llama.cpp를 계속 사용할 수 있도록 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

관련 기사

github llama.cpp · 1시간 전 · 조회수 1회 실시간

llama.cpp b10921, WebGPU 텐서 바인딩을 블록 크기에 정렬

llama.cpp 프로젝트는 유형 블록 크기에 따라 텐서 바인딩을 정렬하여 WebGPU를 수정한 빌드 b10921을 출시했습니다. 이 변경으로 인해 블록 양자화된 뷰가 셰이더에서 유효한 요소 오프셋을 받으며, 텐서까지의 거리가 블록의 정수 배수가 될 때까지 바인딩 오프셋을 역방향으로 탐색합니다.

github llama.cpp · 1일 전 · 조회수 1회

llama.cpp b10906이 서버에서 이미지 후 추론을 수정함

llama.cpp 프로젝트는 이미지 입력 후 추론 디코딩에 대한 서버 구성 요소의 수정을 포함한 버전 b10906을 출시했습니다. 이 변경은 토큰 수가 아닌 실제 위치를 드래프터에 전달하여 DFlash뿐만 아니라 모든 드래프터에 영향을 줍니다.

github llama.cpp · 2일 전 · 조회수 3회

llama.cpp b10899, Qwen용 Vulkan 최적화 및 split_k 지원 추가

llama.cpp 프로젝트는 버전 b10899를 출시하며 Vulkan 백엔드에 특정 성능 개선을 도입했습니다. 이 업데이트는 Qwen 모델 계열에 대한 행렬 연산 최적화와 작은 M 값에 대한 전반적인 성능 향상에 중점을 둡니다.

github llama.cpp · 2일 전 · 조회수 4회

llama.cpp b10896이 비전 모델의 DFlash 디코딩 실패를 수정함

llama.cpp 프로젝트는 빌드 b10896을 출시하여, DFlash를 비전 모델과 함께 사용할 때 드래프터 메모리가 새 토큰을 할당하지 못하는 중대한 문제를 해결했습니다. 이 실패는 이미지가 고정 오프셋을 보고하여 적절한 토큰 할당을 방지했기 때문에 발생했습니다.

github llama.cpp · 4일 전 · 조회수 2회

llama.cpp, iGPU에서 기본적으로 지연 텐서 로딩 비활성화

llama.cpp 프로젝트는 b10867 릴리스에서 내장 GPU(iGPU)에 대해 기본적으로 지연 텐서 로딩을 비활성화했습니다. 이 변경은 이전 "AUTO" 지연 모드 설정에서 도입된 회귀를 해결합니다.