github llama.cpp · 방금 · inference

llama.cpp b11460이 SYCL에 IQ3_S multi-column MMVQ 추가

번역 English → 한국어

llama.cpp 프로젝트는 SYCL 백엔드 내에서 IQ3_S multi-column MMVQ 양자화 형식에 대한 지원을 도입한 버전 b11460을 출시했습니다. 이 업데이트는 표준 CPU 및 GPU 가속 옵션과 함께 새 빌드에 포함되어 있습니다.

릴리스는 pull request #29500을 통해 SYCL 구현에 IQ3_S multi-column MMVQ 지원을 추가합니다.
macOS(Apple Silicon 및 Intel), Linux(x64, arm64, s390x), Windows, Android 및 openEuler에 대한 바이너리가 제공됩니다.
GPU 가속은 지원되는 플랫폼에서 CUDA 12/13, Vulkan, ROCm 10.0, OpenVINO 및 OpenCL Adreno를 통해 사용할 수 있습니다.
Linux 및 Android의 Snapdragon 장치용 특정 빌드가 포함되어 있으며 CPU, Adreno GPU 및 Hexagon NPU를 지원합니다.

이 릴리스를 통해 사용자는 최신 SYCL 최적화에 액세스할 수 있으며 다양한 아키텍처에서 llama.cpp 모델을 실행하기 위한 하드웨어 호환성이 확대됩니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b11454에 K2 Horizon dense 및 MoVA 지원 추가

llama.cpp 프로젝트는 K2 Horizon 모델 아키텍처에 대한 지원을 도입한 빌드 b11454를 출시했습니다. 여기에는 dense와 Mixture-of-Value Attention (MoVA) 변형이 모두 포함됩니다.

github llama.cpp · 1일 전 · 조회수 25회

llama.cpp b11433, Hexagon 풀 연산 지원 추가

llama.cpp 프로젝트는 Hexagon NPU에서 풀링 연산을 위한 지원을 도입한 버전 b11433을 출시했습니다. 이 업데이트에는 2D 및 1D 풀링 레이어에 대한 구현이 포함되어 있습니다.

github llama.cpp · 2일 전 · 조회수 25회

llama.cpp b11424, Vulkan Flash Attention 공유 메모리 경계 밖 쓰기 수정

llama.cpp 프로젝트가 버전 b11424를 출시했으며, 여기에는 Flash Attention 사용 시 Vulkan 백엔드에서 공유 메모리 경계 밖 쓰기가 발생하는 오류에 대한 수정이 포함되어 있습니다.

github llama.cpp · 2일 전 · 조회수 22회

llama.cpp b11413에 양자화된 K/V를 위한 Vulkan 희소 플래시 어텐션 추가

llama.cpp b11413 릴리스는 양자화된 Key 및 Value 텐서를 지원하는 새로운 Vulkan 기반 희소 플래시 어텐션 구현을 도입합니다. 이 업데이트는 큰 컨텍스트 윈도우를 가진 디코딩 작업에는 비용이 너무 많이 드는 이전 컴팩션 방법의 성능 문제를 해결합니다.

github llama.cpp · 2일 전 · 조회수 29회

llama.cpp b11405, 4개의 헤드를 위해 키와 토큰에 걸쳐 라이트닝 인덱서를 타일링함

llama.cpp b11405 릴리스는 작은 헤드 수에서 성능 문제를 해결하기 위해 4개의 헤드를 위해 키와 토큰에 걸쳐 라이트닝 인덱서를 타일링하여 CUDA 백엔드를 업데이트합니다.