github llama.cpp · 1일 전 · inference

llama.cpp b10868, MoE용 IQ 타입 처리 추가

번역 English → 한국어

llama.cpp 프로젝트가 Mixture of Experts (MoE) 모델을 위한 IQ 타입 처리를 도입한 빌드 b10868을 출시했습니다.

pull request #28476을 통해 MoE 아키텍처 내에서 IQ 양자화 타입 지원을 추가했습니다.
macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL), Android 및 openEuler용 바이너리를 제공합니다.
iOS XCFramework 지원 및 독립형 UI 패키지를 포함합니다.

이 업데이트를 통해 사용자는 다양한 하드웨어 플랫폼에서 특정 IQ 양자화 타입의 MoE 모델을 실행할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

llama.cpp b10891, 공유 메모리 감소로 폴백하여 PowerVR Vulkan 충돌 해결

llama.cpp 프로젝트는 PowerVR GPU에서 치명적인 안정성 문제를 해결한 버전 b10891을 출시했습니다. 이 업데이트는 Vulkan 백엔드를 수정하여 dequantized matrix-vector multiplication(dmmv) 연산에 공유 메모리 감소를 폴백하도록 합니다.

media MarkTechPost · 방금 실시간

DeepSeek, 1M 컨텍스트와 FP4 KV 캐시를 갖춘 DeepSeek-V4.1-Flash 출시

DeepSeek AI는 100만 토큰의 컨텍스트 윈도우와 글로벌 캐시 크기를 토큰당 890바이트로 줄이는 FP4 KV 캐시를 탑재한 멀티모달 Mixture-of-Experts 모델인 DeepSeek-V4.1-Flash를 출시했습니다. 이 모델은 성능을 유지하면서 메모리 요구사항을 크게 낮추기 위해 인코더-디코더 구조와 Compressed Sparse Attention 2(CSA2)를 활용합니다.

github llama.cpp · 1시간 전 · 조회수 1회 실시간

llama.cpp b10889 릴리스는 인덱서에 대한 V 캐시 할당을 피함

llama.cpp 프로젝트는 인덱서에서 사용되지 않기 때문에 V 캐시를 할당하지 않도록 하는 메모리 최적화가 포함된 빌드 b10889를 출시했습니다.

github llama.cpp · 3시간 전 · 조회수 1회

llama.cpp b10888이 GPU 프로파일러를 위한 Vulkan 명령 버퍼 디버그 레이블 추가

llama.cpp 프로젝트는 Vulkan 백엔드에서 GPU 프로파일러를 위한 명령 버퍼 디버그 레이블을 추가하는 새로운 기능을 포함하는 빌드 b10888을 출시했습니다.

github llama.cpp · 4시간 전 · 조회수 1회

llama.cpp b10886이 s390x에 대한 Q1_0 벡터 내장 지원 추가

llama.cpp 프로젝트는 s390x 아키텍처에 대한 Q1_0 벡터 내장 지원을 도입한 빌드 b10886을 출시했습니다. 이 업데이트에는 `ggml_vec_dot_q1_0_q8_0` 구현이 포함되어 있으며, 새로운 기능을 반영하기 위해 문서가 업데이트되었습니다.