github llama.cpp · 3일 전 · inference

llama.cpp b10833이 gemma4에서 약 4% 속도 향상을 위한 Vulkan RMS 정규화 융합 추가

번역 English → 한국어

llama.cpp 프로젝트는 추론 성능을 개선하기 위해 특정 정규화 연산을 융합하는 Vulkan 백엔드 최적화를 도입한 버전 b10833을 출시했습니다.

Vulkan 백엔드에서 RMS_NORM + MUL + ADD (+ MUL) 및 RMS_NORM + VIEW + SET_ROWS 융합 지원.
IMROPE를 지원하기 위한 ROPE + VIEW + SET_ROWS 확장.
작성자는 자신의 시스템에서 gemma4 모델에 대해 약 4%의 성능 향상을 보고했습니다.

이 업데이트는 Vulkan 호환 하드웨어에서 실행되는 호환 모델에 대해 더 빠른 추론 속도를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

DeepSeek, 1M 컨텍스트와 FP4 KV 캐시를 갖춘 DeepSeek-V4.1-Flash 출시

DeepSeek AI는 100만 토큰의 컨텍스트 윈도우와 글로벌 캐시 크기를 토큰당 890바이트로 줄이는 FP4 KV 캐시를 탑재한 멀티모달 Mixture-of-Experts 모델인 DeepSeek-V4.1-Flash를 출시했습니다. 이 모델은 성능을 유지하면서 메모리 요구사항을 크게 낮추기 위해 인코더-디코더 구조와 Compressed Sparse Attention 2(CSA2)를 활용합니다.

github llama.cpp · 1시간 전 · 조회수 1회 실시간

llama.cpp b10889 릴리스는 인덱서에 대한 V 캐시 할당을 피함

llama.cpp 프로젝트는 인덱서에서 사용되지 않기 때문에 V 캐시를 할당하지 않도록 하는 메모리 최적화가 포함된 빌드 b10889를 출시했습니다.

github llama.cpp · 3시간 전 · 조회수 1회

llama.cpp b10888이 GPU 프로파일러를 위한 Vulkan 명령 버퍼 디버그 레이블 추가

llama.cpp 프로젝트는 Vulkan 백엔드에서 GPU 프로파일러를 위한 명령 버퍼 디버그 레이블을 추가하는 새로운 기능을 포함하는 빌드 b10888을 출시했습니다.

github llama.cpp · 4시간 전 · 조회수 1회

llama.cpp b10886이 s390x에 대한 Q1_0 벡터 내장 지원 추가

llama.cpp 프로젝트는 s390x 아키텍처에 대한 Q1_0 벡터 내장 지원을 도입한 빌드 b10886을 출시했습니다. 이 업데이트에는 `ggml_vec_dot_q1_0_q8_0` 구현이 포함되어 있으며, 새로운 기능을 반영하기 위해 문서가 업데이트되었습니다.

github llama.cpp · 18시간 전 · 조회수 1회

llama.cpp b10883이 Vulkan 행렬 곱을 수정하고 Ampere 최적화를 복원

llama.cpp 프로젝트는 Vulkan 백엔드에 대한 중요한 업데이트를 포함한 빌드 b10883을 출시했습니다. 주요 변경 사항에는 셰이더 컴파일 및 성능을 개선하기 위해 행렬-행렬 곱셈 A형 연산에 spec constant를 사용하는 것이 포함됩니다.