github llama.cpp · 방금 · inference

llama.cpp b10906이 서버에서 이미지 후 추론을 수정함

번역 English → 한국어

llama.cpp 프로젝트는 이미지 입력 후 추론 디코딩에 대한 서버 구성 요소의 수정을 포함한 버전 b10906을 출시했습니다. 이 변경은 토큰 수가 아닌 실제 위치를 드래프터에 전달하여 DFlash뿐만 아니라 모든 드래프터에 영향을 줍니다.

드래프트 매개변수 `n_past`가 `pos0`로 이름이 변경되어 토큰 수가 아닌 위치 표시자로서의 역할을 정확하게 반영했습니다.
macOS(Apple Silicon 및 Intel), iOS, Linux(CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows(CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) 및 openEuler에 대한 사전 빌드된 바이너리를 제공했습니다.

이 업데이트는 매개변수 이름의 불일치를 수정하고 서버의 추론 디코딩 로직에서 올바른 위치 처리를 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b10899, Qwen용 Vulkan 최적화 및 split_k 지원 추가

llama.cpp 프로젝트는 버전 b10899를 출시하며 Vulkan 백엔드에 특정 성능 개선을 도입했습니다. 이 업데이트는 Qwen 모델 계열에 대한 행렬 연산 최적화와 작은 M 값에 대한 전반적인 성능 향상에 중점을 둡니다.

github llama.cpp · 19시간 전 · 조회수 1회

llama.cpp b10896이 비전 모델의 DFlash 디코딩 실패를 수정함

llama.cpp 프로젝트는 빌드 b10896을 출시하여, DFlash를 비전 모델과 함께 사용할 때 드래프터 메모리가 새 토큰을 할당하지 못하는 중대한 문제를 해결했습니다. 이 실패는 이미지가 고정 오프셋을 보고하여 적절한 토큰 할당을 방지했기 때문에 발생했습니다.

github llama.cpp · 3일 전 · 조회수 2회

llama.cpp, iGPU에서 기본적으로 지연 텐서 로딩 비활성화

llama.cpp 프로젝트는 b10867 릴리스에서 내장 GPU(iGPU)에 대해 기본적으로 지연 텐서 로딩을 비활성화했습니다. 이 변경은 이전 "AUTO" 지연 모드 설정에서 도입된 회귀를 해결합니다.

github llama.cpp · 3일 전 · 조회수 4회

llama.cpp b10864이 하이브리드 모델의 체크포인트 evicton을 수정함

llama.cpp 프로젝트는 `create_checkpoint()` 내의 체크포인트 간격 evicton 로직에 대한 수정 사항을 포함하는 빌드 b10864을 출시했습니다. 이전에는 evicton 규칙이 가장 오래된 체크포인트를 유지하고 `checkpoint_min_step` 내에서 이후 체크포인트를 지웠습니다. 그 결과, 이 임계값보다 짧은 프롬프트는 재개에 필요한 체크포인트를 잃었습니다. 이로 인해 하이브리드 및 순환 모델은 이전 체크포인트에서 불필요하게 다시 prefill 해야 했습니다.

github llama.cpp · 4일 전 · 조회수 11회

llama.cpp b10844, Vulkan에서 DeepSeek-V4 하이퍼커넥션 융합 연산 추가

llama.cpp 프로젝트가 버전 b10844를 출시하여 Vulkan 백엔드에서 DeepSeek-V4 하이퍼커넥션 융합 연산(DSV4_HC_COMB/PRE/POST)에 대한 지원을 도입했습니다. 이 업데이트는 이러한 특정 최적화와 관련하여 Vulkan을 CUDA 및 Metal과 동등한 수준으로 맞춥니다.