github llama.cpp · 방금 · inference

llama.cpp b10541이 멀티모달 프로젝트를 위해 --mmproj-device 인수를 추가합니다

번역 English → 한국어

llama.cpp 프로젝트는 빌드 b10541을 출시하여 멀티모달 투영 파일을 로드할 장치 백엔드를 사용자가 지정할 수 있도록 하는 `--mmproj-device` 명령줄 인수를 도입했습니다.

새로운 인수는 하위 호환성 있는 `MTMD_BACKEND_DEVICE` 환경 변수로 지원됩니다.
이 기능에 빠르게 접근하기 위해 짧은 플래그 `-mmdev`도 제공됩니다.
이번 릴리스에는 macOS(Apple Silicon 및 Intel), Linux(Ubuntu x64, arm64, s390x with CPU, Vulkan, OpenVINO, SYCL), Windows(CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14), Android, openEuler용 바이너리가 포함되어 있습니다.
이번 릴리스에는 업데이트된 UI 바이너리도 제공됩니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency Local inference

원문 보기

llama.cpp b10532, Flash Attention을 위한 Metal KV 디쿼ン테이션 추가

llama.cpp 프로젝트가 버전 b10532를 출시하여, Metal 백엔드에서 양자화된 키-값(KV) 캐시를 Flash Attention 실행 전에 F16으로 디쿼ン테이션하는 전처리 패스를 도입했습니다.

github llama.cpp · 10시간 전 · 조회수 2회

llama.cpp b10517이 Vulkan FA 디쿼ン타이즈 최적화 및 수정 추가

llama.cpp 프로젝트는 빌드 b10517을 출시하며 플래시 어텐션(FA) 디쿼안타이즈 경로에 대한 Vulkan 전용 개선을 도입했습니다. 주요 변경 사항에는 coopmat1에서 q8_0 KV를 한 번 디쿼안타이즈하고, coopmat2에서 FA 디쿼안타이즈 경로를 건너뛰며, Intel Xe1을 FA 디쿼안타이즈 경로에서 제외하는 것이 포함됩니다.

github llama.cpp · 20일 전 · 조회수 35회

llama.cpp b10208이 XMX 가속 프롬프트 처리를 위한 oneMKL GEMM 플래시 어텐션을 추가합니다

llama.cpp b10208 릴리스는 oneMKL GEMM 플래시 어텐션에 대한 SYCL 지원을 도입하여 프롬프트 처리를 위한 XMX 하드웨어 가속을 가능하게 합니다. 이 변경은 기본 TILE 경로 대신 MKL 커널을 활용하여 Intel Arc GPU에서의 추론 속도를 크게 향상시킵니다.

github llama.cpp · 29일 전 · 조회수 26회

llama.cpp b10089이 CUDA GET_ROWS에 완전한 k-quant 및 i-quant 지원 추가

llama.cpp b10089 릴리스는 k-quants, i-quants 및 mxfp4 양자화 형식을 지원하도록 CUDA GET_ROWS 작업을 확장합니다. 이 변경으로 모든 양자화된 GGML 유형이 이제 임베딩 조회를 위한 직접 장치 경로를 사용할 수 있게 됩니다.

github llama.cpp · 1시간 전 · 조회수 1회 실시간

llama.cpp b10545가 K가 32의 배수가 아닌 경우 Metal matmul의 바운드 밖 읽기를 수정

llama.cpp 프로젝트는 Metal 백엔드의 텐서 API 행렬 곱셈 커널의 치명적인 버그를 해결한 빌드 b10545를 출시했습니다. 이 업데이트는 K 차원이 32의 배수가 아닌 텐서를 처리할 때 정의되지 않은 동작과 손상된 결과를 방지합니다.