github llama.cpp · 2일 전 · inference

llama.cpp b10852, Hexagon에 RELU 및 LEAKY_RELU 연산 추가

번역 English → 한국어

llama.cpp 프로젝트가 버전 b10852를 출시하여 Hexagon 백엔드 내에서 RELU 및 LEAKY_RELU 연산에 대한 지원을 도입했습니다.

hexagon 구현에 RELU 연산 추가.
hexagon 구현에 LEAKY_RELU 연산 추가.
macOS (Apple Silicon 및 Intel), Linux (Ubuntu with CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) 및 openEuler용 바이너리 제공.

이 업데이트를 통해 사용자는 이러한 활성화 함수를 사용하는 모델을 Hexagon 호환 하드웨어에서 실행할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp 프로젝트는 Vulkan 백엔드에서 GPU 프로파일러를 위한 명령 버퍼 디버그 레이블을 추가하는 새로운 기능을 포함하는 빌드 b10888을 출시했습니다.

llama.cpp 프로젝트는 s390x 아키텍처에 대한 Q1_0 벡터 내장 지원을 도입한 빌드 b10886을 출시했습니다. 이 업데이트에는 `ggml_vec_dot_q1_0_q8_0` 구현이 포함되어 있으며, 새로운 기능을 반영하기 위해 문서가 업데이트되었습니다.

llama.cpp 프로젝트는 Vulkan 백엔드에 대한 중요한 업데이트를 포함한 빌드 b10883을 출시했습니다. 주요 변경 사항에는 셰이더 컴파일 및 성능을 개선하기 위해 행렬-행렬 곱셈 A형 연산에 spec constant를 사용하는 것이 포함됩니다.

llama.cpp 프로젝트는 버전 b10870을 출시하며 Intel coopmat1 하드웨어를 위한 f16 B형 행렬 곱셈 파이프라인 및 와프 타일 크기 튜닝에 대한 Vulkan 지원을 도입했습니다.

llama.cpp 프로젝트는 빌드 b10871을 출시하여 Vulkan의 dmmv 경로에 전용 mul_mat_vec_iq4_xs 셰이더를 도입했습니다. 이 변경은 RDNA4 하드웨어에서 성능을 향상시키기 위해 이전의 일반적인 폴백 구현을 대체합니다.