github llama.cpp · 4일 전 · inference

llama.cpp b11048에 qwen4exp HC 연산 및 새 바이너리 추가

번역 English → 한국어

llama.cpp 프로젝트가 빌드 b11048을 출시하여 qwen4exp에서 사용하는 새로운 DSV4 HC 연산 변형의 지원을 도입했습니다. 이 업데이트에는 요소별 시그모이드 게이트가 있는 hc_pre와 동일 혼합이 있는 hc_post에 대한 구체적인 구현이 포함됩니다.

요소별 시그모이드 게이트가 있는 qwen4exp hc_pre 지원 (게이트된 변형)
동일 혼합이 있는 qwen4exp hc_post 지원 (comb == nullptr)
CPU, GPU 및 CUDA, ROCm, OpenVINO와 같은 전용 백엔드를 포함한 macOS, Linux, Windows, Android, openEuler용 새 바이너리 제공.

이 릴리스를 통해 사용자는 이러한 특정 하드웨어 가속 연산을 사용하는 모델을 광범위한 지원 플랫폼에서 실행할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b11122, MMVQ GLU 융합 확장 및 새로운 SYCL 융합 추가

llama.cpp 프로젝트가 버전 b11122를 출시했으며, 여기에는 SYCL 백엔드에 대한 중요한 업데이트가 포함되어 있습니다. 이번 릴리스는 혼합 양자화 유형을 지원하도록 MMVQ GLU 융합을 확장하고 rms_norm+scale 및 ssm_conv+silu 연산에 대한 새로운 융합을 도입합니다.

github llama.cpp · 1시간 전 · 조회수 11회 실시간

llama.cpp b11120, Vulkan 내부 심볼을 숨겨 상태 파괴 문제 해결

llama.cpp 프로젝트는 Vulkan 백엔드에서 내부 심볼을 숨김으로써 중대한 버그를 수정한 버전 b11120을 출시했습니다. 이 변경은 내부 심볼이 내보내질 때 발생하던 중복 dlopen 상태 파괴 문제를 방지합니다.

github llama.cpp · 6시간 전 · 조회수 13회

llama.cpp b11118 HVX FA 마스크 처리를 위한 직접 매핑 DMA 캐시 도입

llama.cpp 프로젝트는 새로운 hex-dma 기능을 포함하는 빌드 b11118을 출시했으며, 이는 Hexagon Vector eXtended (HVX) FA 마스크 처리에 더 적합한 직접 매핑 DMA 캐시를 소개합니다.

github llama.cpp · 17시간 전 · 조회수 9회

llama.cpp가 HunyuanOCR에 대한 DFlash 지원을 추가하고 드래프트 변환을 수정함

llama.cpp 프로젝트는 타겟 그래프에서 레이어 입력 텐서를 노출하여 HunyuanOCR 모델과 함께 DFlash 추측 디코딩에 대한 지원을 추가했습니다. 이 변경 사항으로 드래프트 모델이 잔류 스트림을 읽을 수 있게 되어, 비추측 실행과 비교할 때 약 0.5의 드래프트 수용률과 바이트 단위로 동일한 OCR 출력을 유지하며 이미지 요청을 성공적으로 실행할 수 있습니다.

github llama.cpp · 18시간 전 · 조회수 13회

llama.cpp b11104에서 llama-server를 여러 주소에 바인딩하는 지원 추가

llama.cpp 프로젝트는 llama-server 구성 요소가 동시에 여러 네트워크 주소에 바인딩할 수 있는 새로운 기능을 도입한 버전 b11104를 출시했습니다.