github llama.cpp · 2시간 전 · inference

llama.cpp b11413에 양자화된 K/V를 위한 Vulkan 희소 플래시 어텐션 추가

번역 English → 한국어

llama.cpp b11413 릴리스는 양자화된 Key 및 Value 텐서를 지원하는 새로운 Vulkan 기반 희소 플래시 어텐션 구현을 도입합니다. 이 업데이트는 큰 컨텍스트 윈도우를 가진 디코딩 작업에는 비용이 너무 많이 드는 이전 컴팩션 방법의 성능 문제를 해결합니다.

새로운 접근 방식은 행을 연속된 세그먼트로 분할하여 서브그룹 또는 스레드에서 처리하며, 오름차순 인덱스 목록을 유지하기 위해 결합된 로드(ballot counting)를 사용합니다.
macOS(Apple Silicon 및 Intel), Linux(CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows(CPU, Vulkan, CUDA, OpenVINO, SYCL, ROCm), Android 및 iOS용 사전 빌드된 바이너리가 제공됩니다.
릴리스에는 llama.cpp UI와 보안 검증을 위한 attestations도 포함되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency Local inference

원문 보기

llama.cpp가 k-pool 및 MTP 수정과 함께 GLM-5.3-Flash 지원 추가

llama.cpp 프로젝트는 하이브리드 인덱스 메모리로의 마이그레이션 및 초기 Multi-Token Prediction (MTP) 기능을 포함하여 GLM-5.3-Flash (GLM5-Next) 모델 아키텍처에 대한 초기 지원을 추가했습니다.

github llama.cpp · 8일 전 · 조회수 30회

llama.cpp b11207이 Hexagon용 Q4_0 및 Q8_0 GET_ROWS 타일 지원 추가

llama.cpp 프로젝트는 Hexagon 백엔드에서 타일화된 Q4_0 및 Q8_0 GET_ROWS 연산에 대한 지원을 도입한 빌드 b11207을 출시했습니다. 이 업데이트에는 매크로, 레지스터 스플릴 및 DMA 파이프라인에 대한 수정과 함께 커널 선택 로직 개선 및 벡터화 재활성화가 포함됩니다.

github llama.cpp · 12일 전 · 조회수 30회

llama.cpp v0.5.0이 HRM-Text 지원, CUDA conv2d 가속 및 다중 주소 바인딩을 추가합니다

llama.cpp 프로젝트는 백엔드 성능, 광범위한 모델 커버리지, 그리고 더 견고한 서버 운영에 중점을 둔 버전 0.5.0을 출시했습니다. 이 업데이트는 HRM-Text (DFM Mimir 1B) 및 MiMo-V2.6과 같은 새로운 아키텍처에 대한 지원을 도입하고, CUDA 및 Metal 최적화를 통해 계산 효율성을 크게 향상시킵니다.

github llama.cpp · 12일 전 · 조회수 41회

llama.cpp b11122, MMVQ GLU 융합 확장 및 새로운 SYCL 융합 추가

llama.cpp 프로젝트가 버전 b11122를 출시했으며, 여기에는 SYCL 백엔드에 대한 중요한 업데이트가 포함되어 있습니다. 이번 릴리스는 혼합 양자화 유형을 지원하도록 MMVQ GLU 융합을 확장하고 rms_norm+scale 및 ssm_conv+silu 연산에 대한 새로운 융합을 도입합니다.

github llama.cpp · 13일 전 · 조회수 37회

llama.cpp가 HunyuanOCR에 대한 DFlash 지원을 추가하고 드래프트 변환을 수정함

llama.cpp 프로젝트는 타겟 그래프에서 레이어 입력 텐서를 노출하여 HunyuanOCR 모델과 함께 DFlash 추측 디코딩에 대한 지원을 추가했습니다. 이 변경 사항으로 드래프트 모델이 잔류 스트림을 읽을 수 있게 되어, 비추측 실행과 비교할 때 약 0.5의 드래프트 수용률과 바이트 단위로 동일한 OCR 출력을 유지하며 이미지 요청을 성공적으로 실행할 수 있습니다.