github llama.cpp · 4일 전 · inference

llama.cpp b11055, Hexagon용 GEGLU_QUICK 지원 추가

번역 English → 한국어

llama.cpp 프로젝트가 버전 b11055를 출시하여 Hexagon DSP에서 GEGLU_QU 활성화 함수에 대한 지원을 도입했습니다.

릴리스에는 macOS(Apple Silicon 및 Intel), Linux(Ubuntu x64, arm64, s390x), Windows, Android용 바이너리가 포함되어 있습니다.
GPU 가속은 Linux에서 CUDA 12.8/13.3, ROCm 10.0, Vulkan, OpenVINO, SYCL를 통해 지원되며, Windows에서는 CUDA, OpenCL, Vulkan, OpenVINO, SYCL가 지원됩니다.
KleidiAI가 포함된 macOS Apple Silicon 빌드는 현재 비활성화되어 있습니다.
openEuler 지원도 나열되어 있지만 일부 구성은 비활성화된 것으로 표시되었습니다.

이 업데이트는 Hexagon 기반 장치에 대한 더 넓은 하드웨어 호환성과 최적화된 추론 기능을 사용자에게 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

llama.cpp b11122, MMVQ GLU 융합 확장 및 새로운 SYCL 융합 추가

llama.cpp 프로젝트가 버전 b11122를 출시했으며, 여기에는 SYCL 백엔드에 대한 중요한 업데이트가 포함되어 있습니다. 이번 릴리스는 혼합 양자화 유형을 지원하도록 MMVQ GLU 융합을 확장하고 rms_norm+scale 및 ssm_conv+silu 연산에 대한 새로운 융합을 도입합니다.

github llama.cpp · 1시간 전 · 조회수 11회 실시간

llama.cpp b11120, Vulkan 내부 심볼을 숨겨 상태 파괴 문제 해결

llama.cpp 프로젝트는 Vulkan 백엔드에서 내부 심볼을 숨김으로써 중대한 버그를 수정한 버전 b11120을 출시했습니다. 이 변경은 내부 심볼이 내보내질 때 발생하던 중복 dlopen 상태 파괴 문제를 방지합니다.

github llama.cpp · 6시간 전 · 조회수 13회

llama.cpp b11118 HVX FA 마스크 처리를 위한 직접 매핑 DMA 캐시 도입

llama.cpp 프로젝트는 새로운 hex-dma 기능을 포함하는 빌드 b11118을 출시했으며, 이는 Hexagon Vector eXtended (HVX) FA 마스크 처리에 더 적합한 직접 매핑 DMA 캐시를 소개합니다.

github llama.cpp · 17시간 전 · 조회수 9회

llama.cpp가 HunyuanOCR에 대한 DFlash 지원을 추가하고 드래프트 변환을 수정함

llama.cpp 프로젝트는 타겟 그래프에서 레이어 입력 텐서를 노출하여 HunyuanOCR 모델과 함께 DFlash 추측 디코딩에 대한 지원을 추가했습니다. 이 변경 사항으로 드래프트 모델이 잔류 스트림을 읽을 수 있게 되어, 비추측 실행과 비교할 때 약 0.5의 드래프트 수용률과 바이트 단위로 동일한 OCR 출력을 유지하며 이미지 요청을 성공적으로 실행할 수 있습니다.

github llama.cpp · 18시간 전 · 조회수 13회

llama.cpp b11104에서 llama-server를 여러 주소에 바인딩하는 지원 추가

llama.cpp 프로젝트는 llama-server 구성 요소가 동시에 여러 네트워크 주소에 바인딩할 수 있는 새로운 기능을 도입한 버전 b11104를 출시했습니다.