github llama.cpp · 1시간 전 · inference

llama.cpp b10098, Hexagon 활성화 연산 업데이트

번역 English → 한국어

llama.cpp 프로젝트는 Hexagon 활성화 연산에 대한 업데이트를 포함하는 버전 b10098을 출시했습니다. 이 릴리스는 macOS, Linux, Android, Windows 및 openEuler용 바이너리를 다양한 CPU 및 GPU 백엔드에서 제공합니다.

모든 것을 위한 geglu 마이크로커널 (hex-geglu) 최적화
hex-geglu에 대한 비연속 소스 및 스트라이드 DMA 활성화
나머지 ACT 연산에 대한 비연속 소스 및 스트라이드 DMA 활성화
DEFINE_GLU_PER_THREAD 매크로를 통해 스레드별 GLU 함수 일반화
UNARY_SILU 및 UNARY_GELU를 unary-ops로 이동
일반적인 ops_context 스크래치패드 사용 대신 로컬 htp_vtcm_layout 계산으로 대체

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

Diffusers에 Nunchaku Lite 4비트 추론 네이티브 지원 추가

Hugging Face Diffusers는 이제 `from_pretrained()`를 통해 Nunchaku Lite 체크포인트를 네이티브로 로드할 수 있게 되어 별도의 추론 엔진이나 로컬 CUDA 컴파일이 필요하지 않게 되었습니다. 이 통합은 SVDQuant 방법을 사용하여 4비트 가중치와 활성화(W4A4)로 트랜스포머 레이어를 실행하며, 메모리 사용량을 크게 줄이는 동시에 추론 속도를 향상시킵니다.

github llama.cpp · 1일 전 · 조회수 1회

llama.cpp b10089이 CUDA GET_ROWS에 완전한 k-quant 및 i-quant 지원 추가

llama.cpp b10089 릴리스는 k-quants, i-quants 및 mxfp4 양자화 형식을 지원하도록 CUDA GET_ROWS 작업을 확장합니다. 이 변경으로 모든 양자화된 GGML 유형이 이제 임베딩 조회를 위한 직접 장치 경로를 사용할 수 있게 됩니다.

github llama.cpp · 2일 전

llama.cpp b10085 위치 임베딩 보간 정렬로 Qwen3-VL 그라운딩 수정

llama.cpp 프로젝트는 Qwen3-VL 비전 모델의 위치 임베딩 보간에 대한 수정을 포함하는 빌드 b10085를 출시하여 그라운딩 좌표 불일치를 해결했습니다.

github llama.cpp · 4일 전 · 조회수 2회

llama.cpp b10069이 Adreno MUL_MAT에 대한 OpenCL 브로드캐스트 지원을 추가함

llama.cpp 프로젝트는 Qualcomm Adreno GPU에 대한 특정 OpenCL 업데이트를 포함한 빌드 b10069을 출시했습니다. 주요 변경 사항에는 Adreno MUL_MAT 커널에 대한 브로드캐스트 작업 지원과 llama-server에서 멀티스트림 기능을 활성화하기 위해 Q8_0 MUL_MAT 변형의 뷰 오프셋을 준수하는 것이 포함됩니다.

github llama.cpp · 5일 전 · 조회수 1회

llama.cpp b10068이 DFlash에 대해 주입된 K/V 캐시를 회전합니다

llama.cpp 프로젝트는 DFlash 모델 구현에 변경 사항을 도입한 버전 b10068을 출시했습니다. 이 업데이트는 src/models/dflash.cpp를 수정하여 K/V 양자화가 사용될 때 주입된 키/값 (K/V) 캐시를 회전합니다.