github llama.cpp · 방금 · inference

llama.cpp b11046이 flash_attn_f32_f16_bin 커널에 OpenCL 지원 추가

번역 English → 한국어

llama.cpp 프로젝트가 버전 b11046을 출시하여 `flash_attn_f32_f16_bin` 커널에 대한 OpenCL 지원을 도입했습니다. 이 업데이트에는 OpenCL 장치에서 Flash Attention을 위한 보호된 prefill 기능도 포함되어 있습니다.

OpenCL용 `flash_attn_f32_f16_bin` 커널 구현 추가.
OpenCL 백엔드에서 Flash Attention을 위한 보호된 prefill 로직 구현.
macOS (Apple Silicon 및 Intel), Linux (CPU, CUDA, ROCm, Vulkan, SYCL, OpenVINO), Windows (CPU, CUDA, Vulkan, SYCL, ROCm, OpenVINO), Android 및 iOS용 바이너리 제공.

이 릴리스는 주요 운영 체제와 가속기 전반에 걸친 광범위한 지원을 유지하면서 OpenCL 지원 장치에서 어텐션 메커니즘의 하드웨어 호환성을 확장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency Local inference

원문 보기

llama.cpp b11019는 임베디드 파일에 대한 GGUF 데이터 정렬을 수정하고 LoRA 로딩을 추가합니다

llama.cpp 프로젝트는 비정렬 오프셋에 임베디드된 GGUF 파일이 잘못된 텐서 데이터를 반환하는 치명적인 버그를 해결하기 위해 버전 b11019를 출시했습니다. 이 업데이트는 파일 시작점이 아닌 오프셋 0을 기준으로 GGUF 데이터 섹션을 정렬하여 임베디드 모델의 정확한 로딩을 보장합니다.

github llama.cpp · 2일 전 · 조회수 7회

llama.cpp b11006이 K-Quants Q4_K 및 Q6_K에 대한 Hexagon 지원을 추가

llama.cpp 프로젝트는 K-Quantization 형식을 처리하기 위해 Qualcomm Hexagon 프로세서에 대한 지원을 도입한 버전 b11006을 출시했습니다. 이 업데이트는 Hexagon 아키텍처에서 Q4_K 및 Q6_K 양자화 수준을 위한 특정 커널을 구현합니다.

github llama.cpp · 4일 전 · 조회수 10회

llama.cpp b10981, Gemma-4의 상태 디코딩 수정 및 GPU MoE 추론 최적화

llama.cpp b10981 릴리스는 OpenVINO 백엔드의 상태 디코딩 경로에서 중요한 정확성 문제를 해결하며, 특히 레이어별 헤드 크기를 사용하는 Gemma-4와 같은 모델에 대한 지원을 수정합니다. 또한 GPU Mixture of Experts (MoE) 추론을 위한 최적화를 도입하고 KV 상태 재배치를 통해 성능을 개선합니다.

github llama.cpp · 11일 전 · 조회수 24회

llama.cpp b10840이 CUDA에 대해 분기 없는 Q4_K/Q5_K 언팩 및 L2 프리페치 추가

llama.cpp 프로젝트는 CUDA 추론을 위한 성능 최적화를 도입한 버전 b10840을 출시했습니다. 이 업데이트는 행렬-벡터 곱셈(mmvp) 가속을 위해 Q4_K 및 Q5_K 양자화 형식에 대한 분기 없는 연산을 구현합니다.

github llama.cpp · 12일 전 · 조회수 23회

llama.cpp b10827이 q4_K 및 q5_K mul_mat에 대한 OpenCL 가중치 팩 선택을 수정함

llama.cpp 프로젝트는 OpenCL를 사용하여 q4_K 및 q5_K 행렬 곱셈 연산에 대한 가중치 팩을 올바르게 선택하기 위한 수정 사항이 포함된 버전 b10827을 출시했습니다.