github llama.cpp · 1시간 전 · inference

llama.cpp b10207, cpy의 누락된 유형에 대한 SYCL 지원 추가

번역 English → 한국어

llama.cpp 프로젝트가 버전 b10207을 출시했으며, 여기에는 이전에 지원되지 않던 데이터 유형에 대한 cpy 작업에서 SYCL 지원을 추가하는 풀 리퀘스트가 포함되어 있습니다.

업데이트는 PR #26005를 통해 cpy 기능 내에서 누락된 유형 지원을 처리했습니다.
macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), Android 및 openEuler에 대한 바이너리 배포판이 제공됩니다.
이 릴리스에서는 KleidiAI가 있는 macOS Apple Silicon 지원이 현재 비활성화되어 있습니다.

이 릴리스는 추가 데이터 유형에서 SYCL 실행을 활성화함으로써 llama.cpp의 하드웨어 호환성을 확장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

관련 기사

github llama.cpp · 3시간 전

llama.cpp b10206, DeepSeek V4 및 MLA 모델에 동일한 K 및 V 캐시 유형 강제 적용

llama.cpp 프로젝트는 버전 b10206을 출시했으며, 이는 어텐션 메커니즘에서 키-값 캐시를 처리하는 방식에 특정 변경 사항을 도입했습니다. 이 업데이트는 DeepSeek V4 모델의 K 및 V 캐시 유형이 일관되게 유지되도록 보장합니다.

github llama.cpp · 5시간 전

SYCL RMS_NORM 융합을 포함한 llama.cpp b10202 릴리스

llama.cpp 프로젝트는 RMS_NORM 및 MUL 연산을 융합하는 SYCL 최적화를 도입한 버전 b10202를 출시했습니다.

github llama.cpp · 7시간 전 · 조회수 1회

llama.cpp b10201이 긴 컨텍스트에서 양자화된 KV에 대한 flash attention을 개선

llama.cpp 프로젝트는 ggml-webgpu 백엔드에 대한 주요 개선을 포함하는 버전 b10201을 출시했습니다. 이 업데이트는 긴 컨텍스트 생성 동안 양자화된 키-값 캐시를 처리할 때 flash attention 성능을 향상시킵니다.

github llama.cpp · 21시간 전 · 조회수 1회

llama.cpp b10198, 양자화 concat에 대한 Vulkan 지원 추가

llama.cpp 프로젝트는 Vulkan 백엔드 내에서 양자화 연결 연산에 대한 지원을 도입한 빌드 b10198을 출시했습니다.

github llama.cpp · 2일 전 · 조회수 1회

llama.cpp b10180이 SYCL 단항 연산에 연속 빠른 경로 및 32비트 인덱스 산술 추가

llama.cpp 프로젝트는 SYCL 백엔드에 대한 성능 최적화를 도입한 빌드 b10180을 출시했습니다. 업데이트는 연속 빠른 경로를 구현하고 요소별 인덱스 산술을 32비트 정수와 함께 fastdiv를 사용하도록 전환합니다.