github llama.cpp · 4일 전 · inference

llama.cpp b11206 Hexagon 백엔드 샘플러 지원 추가

번역 English → 한국어

llama.cpp 프로젝트에서 버전 b11206을 출시했으며, 이는 Hexagon 백엔드 샘플러에 대한 지원을 도입합니다. 이 업데이트에는 샘플링 파이프라인과 Hexagon NPU에서의 작업에 대한 여러 변경 사항이 포함되어 있습니다.

이 릴리스는 CPU, GPU 및 NPU를 포함한 다양한 하드웨어 백엔드에 대해 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

llama.cpp 프로젝트는 dflash 형식에 대한 지원을 도입한 빌드 b11298을 출시했습니다. 이 업데이트는 모델을 이 형식으로 변환하고 후속 기능 추출 기능을 사용할 수 있게 합니다.

llama.cpp 프로젝트는 양자화된 가중치 뷰에 대한 GET_ROWS 연산을 올바르게 처리하기 위한 OpenVINO 백엔드 수정 사항을 포함한 빌드 b11284를 출시했습니다.

llama.cpp 프로젝트는 하이브리드 인덱스 메모리로의 마이그레이션 및 초기 Multi-Token Prediction (MTP) 기능을 포함하여 GLM-5.3-Flash (GLM5-Next) 모델 아키텍처에 대한 초기 지원을 추가했습니다.

llama.cpp 프로젝트는 Hexagon 백엔드에 대한 최적화를 포함한 빌드 b11272을 출시했습니다. 주요 변경 사항은 Qualcomm Snapdragon 하드웨어에서 성능을 향상시키기 위해 연결 연산을 최적화하는 것입니다.

llama.cpp 프로젝트는 Hexagon 백엔드에서 FP32 GELU_ERF 및 GEGLU_ERF 활성화 함수에 대한 지원을 도입하는 버전 b11260을 출시했습니다. 이 업데이트에는 관련 커널 내 레지스터 압력을 줄이는 최적화도 포함되어 있습니다.