github llama.cpp · 1시간 전 · inference

llama.cpp b10533에서 지원되지 않는 JSON 스키마 정규식 패턴에 대한 우아한 폴백 추가

번역 English → 한국어

llama.cpp 프로젝트는 JSON 스키마 내에서 지원되지 않는 정규식 패턴을 우아하게 처리하는 수정 사항이 포함된 빌드 b10533을 출시했습니다.

주요 코드 변경으로 기본 구현에서 지원하지 않는 정규식 패턴을 encountered할 때 시스템이 우아하게 폴백할 수 있습니다.
macOS (Apple Silicon 및 Intel), Linux (Ubuntu x64, arm64, s390x with CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14), Android 및 openEuler용 바이너리가 제공됩니다.
이 릴리스에서는 macOS Apple Silicon KleidiAI 지원과 Ubuntu x64 ROCm 7.14 지원이 비활성화되었습니다.
배포판에는 iOS XCFramework와 독립형 UI 패키지도 포함되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b10532, Flash Attention을 위한 Metal KV 디쿼ン테이션 추가

llama.cpp 프로젝트가 버전 b10532를 출시하여, Metal 백엔드에서 양자화된 키-값(KV) 캐시를 Flash Attention 실행 전에 F16으로 디쿼ン테이션하는 전처리 패스를 도입했습니다.

github llama.cpp · 8시간 전 · 조회수 2회

llama.cpp b10517이 Vulkan FA 디쿼ン타이즈 최적화 및 수정 추가

llama.cpp 프로젝트는 빌드 b10517을 출시하며 플래시 어텐션(FA) 디쿼안타이즈 경로에 대한 Vulkan 전용 개선을 도입했습니다. 주요 변경 사항에는 coopmat1에서 q8_0 KV를 한 번 디쿼안타이즈하고, coopmat2에서 FA 디쿼안타이즈 경로를 건너뛰며, Intel Xe1을 FA 디쿼안타이즈 경로에서 제외하는 것이 포함됩니다.

github llama.cpp · 19시간 전 · 조회수 1회

llama.cpp b10509, Metal, CUDA, Vulkan에 ggml_rope_set_offset 지원 추가

llama.cpp 프로젝트는 여러 하드웨어 백엔드에서 `ggml_rope_set_offset` 함수에 대한 지원을 도입한 빌드 b10509를 출시했습니다. 이 업데이트에는 새로운 연산에 대한 CPU, Metal, CUDA 및 Vulkan 구현이 포함됩니다.

github llama.cpp · 7일 전 · 조회수 18회

llama.cpp b10427, SYCL FFN 연산 융합으로 최대 12.4% 처리량 향상

llama.cpp 프로젝트가 버전 b10427을 출시했으며, 여기에는 SYCL을 통한 Intel Arc GPU용 성능 최적화가 포함되어 있습니다. 이 업데이트는 q4_K 밀도 순방향 네트워크(FFN) 레이어 내에서 gate, up 및 GLU 연산의 융합을 구현합니다.

github llama.cpp · 7일 전 · 조회수 23회

llama.cpp b10413이 GGUF 메타데이터에서 초안 사양 유형 자동 감지 기능 추가

llama.cpp 프로젝트가 버전 b10413을 출시했으며, 이 버전은 초안 GGUF 모델 메타데이터에서 추론 사양 유형을 자동으로 감지하는 기능을 도입했습니다.