github llama.cpp · 방금 · inference

llama.cpp b10930 모델 제한 시 모델 다운로드 허용

번역 English → 한국어

llama.cpp 프로젝트는 버전 b10930을 출시했으며, 여기에는 사용자가 모델 제한에 도달했더라도 모델 다운로드를 가능하게 하는 서버 구성 요소 수정이 포함되어 있습니다.

제한에서의 다운로드를 활성화하여 issue #26809 해결 (PR #28530).
macOS Apple Silicon 및 Intel, iOS, Ubuntu x64/arm64/s390x, Android arm64, Windows x64/arm64, openEuler용 바이너리 제공.
CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL FP32/FP16, CUDA 12/13, OpenCL Adreno 등 다양한 하드웨어 백엔드 지원.

이 업데이트는 스토리지 할당량에 도달한 사용자를 위한 지속적인 기능성을 보장하면서 광범위한 플랫폼 지원을 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

llama.cpp b10926 릴리스는 지원되지 않는 tq1_0 양자화를 우아하게 처리합니다

llama.cpp 프로젝트가 지원되지 않는 tq1_0 양자화를 우아하게 실패하도록 처리하는 수정 사항을 포함한 버전 b10926을 출시했습니다. 이 업데이트는 특정 양자화 형식을 마주할 때 안정성을 개선하기 위해 이슈 #28681을 해결합니다.

github llama.cpp · 3시간 전 · 조회수 1회

llama.cpp b10921, WebGPU 텐서 바인딩을 블록 크기에 정렬

llama.cpp 프로젝트는 유형 블록 크기에 따라 텐서 바인딩을 정렬하여 WebGPU를 수정한 빌드 b10921을 출시했습니다. 이 변경으로 인해 블록 양자화된 뷰가 셰이더에서 유효한 요소 오프셋을 받으며, 텐서까지의 거리가 블록의 정수 배수가 될 때까지 바인딩 오프셋을 역방향으로 탐색합니다.

github llama.cpp · 1일 전 · 조회수 1회

llama.cpp b10906이 서버에서 이미지 후 추론을 수정함

llama.cpp 프로젝트는 이미지 입력 후 추론 디코딩에 대한 서버 구성 요소의 수정을 포함한 버전 b10906을 출시했습니다. 이 변경은 토큰 수가 아닌 실제 위치를 드래프터에 전달하여 DFlash뿐만 아니라 모든 드래프터에 영향을 줍니다.

github llama.cpp · 2일 전 · 조회수 3회

llama.cpp b10899, Qwen용 Vulkan 최적화 및 split_k 지원 추가

llama.cpp 프로젝트는 버전 b10899를 출시하며 Vulkan 백엔드에 특정 성능 개선을 도입했습니다. 이 업데이트는 Qwen 모델 계열에 대한 행렬 연산 최적화와 작은 M 값에 대한 전반적인 성능 향상에 중점을 둡니다.

github llama.cpp · 2일 전 · 조회수 4회

llama.cpp b10896이 비전 모델의 DFlash 디코딩 실패를 수정함

llama.cpp 프로젝트는 빌드 b10896을 출시하여, DFlash를 비전 모델과 함께 사용할 때 드래프터 메모리가 새 토큰을 할당하지 못하는 중대한 문제를 해결했습니다. 이 실패는 이미지가 고정 오프셋을 보고하여 적절한 토큰 할당을 방지했기 때문에 발생했습니다.