github llama.cpp · 1시간 전 · inference

llama.cpp b10532, Flash Attention을 위한 Metal KV 디쿼ン테이션 추가

번역 English → 한국어

llama.cpp 프로젝트가 버전 b10532를 출시하여, Metal 백엔드에서 양자화된 키-값(KV) 캐시를 Flash Attention 실행 전에 F16으로 디쿼ン테이션하는 전처리 패스를 도입했습니다.

새로운 커널은 Q8_0 KV 텐서를 연속적인 F16 임시 버퍼로 디쿼ン테이션하여, 커널 내 디쿼ン테이션 대신 기존 F16 Flash Attention 커널을 사용할 수 있게 합니다.
Metal이 지원하는 모든 양자화된 KV 유형(Q4_0, Q4_1, Q5_0, Q5_1 포함)에 대한 지원이 확장되었습니다.
V가 K의 뷰인 MLA 기반 모델의 경우, 중복된 V 디쿼ン테이션을 생략하고 K의 F16 버퍼에서 V를 읽습니다.
M2 Ultra에서의 검증 결과, q8_0 KV를 사용하는 Qwen2.5-0.5B의 퍼플렉시티가 F16 기준과 정확히 일치하는 것으로 나타났습니다(PPL 1.0008).

이 변경사항은 양자화된 KV 캐시에 연속적인 F16 버퍼를 활용하여 Metal 장치에서 효율적인 Flash Attention 실행을 가능하게 하며, 표준 F16 구현과 정확도 동등성을 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency Local inference

관련 기사

github llama.cpp · 8시간 전 · 조회수 2회

llama.cpp b10517이 Vulkan FA 디쿼ン타이즈 최적화 및 수정 추가

llama.cpp 프로젝트는 빌드 b10517을 출시하며 플래시 어텐션(FA) 디쿼안타이즈 경로에 대한 Vulkan 전용 개선을 도입했습니다. 주요 변경 사항에는 coopmat1에서 q8_0 KV를 한 번 디쿼안타이즈하고, coopmat2에서 FA 디쿼안타이즈 경로를 건너뛰며, Intel Xe1을 FA 디쿼안타이즈 경로에서 제외하는 것이 포함됩니다.

github llama.cpp · 20일 전 · 조회수 35회

llama.cpp b10208이 XMX 가속 프롬프트 처리를 위한 oneMKL GEMM 플래시 어텐션을 추가합니다

llama.cpp b10208 릴리스는 oneMKL GEMM 플래시 어텐션에 대한 SYCL 지원을 도입하여 프롬프트 처리를 위한 XMX 하드웨어 가속을 가능하게 합니다. 이 변경은 기본 TILE 경로 대신 MKL 커널을 활용하여 Intel Arc GPU에서의 추론 속도를 크게 향상시킵니다.

github llama.cpp · 29일 전 · 조회수 26회

llama.cpp b10089이 CUDA GET_ROWS에 완전한 k-quant 및 i-quant 지원 추가

llama.cpp b10089 릴리스는 k-quants, i-quants 및 mxfp4 양자화 형식을 지원하도록 CUDA GET_ROWS 작업을 확장합니다. 이 변경으로 모든 양자화된 GGML 유형이 이제 임베딩 조회를 위한 직접 장치 경로를 사용할 수 있게 됩니다.

github llama.cpp · 방금 실시간

대규모 배치용 디쿼ン타이즈드 KV 캐시가 포함된 llama.cpp b10538 릴리스

llama.cpp 프로젝트는 metal 백엔드에 주요 최적화를 도입한 버전 b10538을 출시했습니다. 이 업데이트는 대규모 배치 크기에 대해서만 키-값(KV) 캐시의 디쿼ン타이제이션을 활성화합니다.

github llama.cpp · 1시간 전 · 조회수 1회 실시간

llama.cpp b10533에서 지원되지 않는 JSON 스키마 정규식 패턴에 대한 우아한 폴백 추가

llama.cpp 프로젝트는 JSON 스키마 내에서 지원되지 않는 정규식 패턴을 우아하게 처리하는 수정 사항이 포함된 빌드 b10533을 출시했습니다.