github llama.cpp · 방금 · inference

llama.cpp b10921, WebGPU 텐서 바인딩을 블록 크기에 정렬

번역 English → 한국어

llama.cpp 프로젝트는 유형 블록 크기에 따라 텐서 바인딩을 정렬하여 WebGPU를 수정한 빌드 b10921을 출시했습니다. 이 변경으로 인해 블록 양자화된 뷰가 셰이더에서 유효한 요소 오프셋을 받으며, 텐서까지의 거리가 블록의 정수 배수가 될 때까지 바인딩 오프셋을 역방향으로 탐색합니다.

이번 릴리스는 macOS(Apple Silicon 및 Intel), iOS, Linux(CPU, Vulkan, ROCm, OpenVINO, SYCL 백엔드 지원 Ubuntu), Android, Windows(CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), openEuler용 바이너리 및 프레임워크를 제공합니다.

이 업데이트는 WebGPU 셰이더에서 텐서 처리가 올바르게 수행되도록 하면서 광범위한 하드웨어 아키텍처 및 백엔드 구현에 대한 지원을 유지합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b10906이 서버에서 이미지 후 추론을 수정함

llama.cpp 프로젝트는 이미지 입력 후 추론 디코딩에 대한 서버 구성 요소의 수정을 포함한 버전 b10906을 출시했습니다. 이 변경은 토큰 수가 아닌 실제 위치를 드래프터에 전달하여 DFlash뿐만 아니라 모든 드래프터에 영향을 줍니다.

github llama.cpp · 2일 전 · 조회수 3회

llama.cpp b10899, Qwen용 Vulkan 최적화 및 split_k 지원 추가

llama.cpp 프로젝트는 버전 b10899를 출시하며 Vulkan 백엔드에 특정 성능 개선을 도입했습니다. 이 업데이트는 Qwen 모델 계열에 대한 행렬 연산 최적화와 작은 M 값에 대한 전반적인 성능 향상에 중점을 둡니다.

github llama.cpp · 2일 전 · 조회수 4회

llama.cpp b10896이 비전 모델의 DFlash 디코딩 실패를 수정함

llama.cpp 프로젝트는 빌드 b10896을 출시하여, DFlash를 비전 모델과 함께 사용할 때 드래프터 메모리가 새 토큰을 할당하지 못하는 중대한 문제를 해결했습니다. 이 실패는 이미지가 고정 오프셋을 보고하여 적절한 토큰 할당을 방지했기 때문에 발생했습니다.

github llama.cpp · 4일 전 · 조회수 2회

llama.cpp, iGPU에서 기본적으로 지연 텐서 로딩 비활성화

llama.cpp 프로젝트는 b10867 릴리스에서 내장 GPU(iGPU)에 대해 기본적으로 지연 텐서 로딩을 비활성화했습니다. 이 변경은 이전 "AUTO" 지연 모드 설정에서 도입된 회귀를 해결합니다.

github llama.cpp · 4일 전 · 조회수 5회

llama.cpp b10864이 하이브리드 모델의 체크포인트 evicton을 수정함

llama.cpp 프로젝트는 `create_checkpoint()` 내의 체크포인트 간격 evicton 로직에 대한 수정 사항을 포함하는 빌드 b10864을 출시했습니다. 이전에는 evicton 규칙이 가장 오래된 체크포인트를 유지하고 `checkpoint_min_step` 내에서 이후 체크포인트를 지웠습니다. 그 결과, 이 임계값보다 짧은 프롬프트는 재개에 필요한 체크포인트를 잃었습니다. 이로 인해 하이브리드 및 순환 모델은 이전 체크포인트에서 불필요하게 다시 prefill 해야 했습니다.