github llama.cpp · 1시간 전 · inference

llama.cpp b10615 Metal용 per-device tuned flash-attn vec 추가

번역 English → 한국어

llama.cpp 프로젝트는 버전 b10615를 출시하며 Metal 백엔드를 위한 per-device tuned quantized (Q, NE) flash-attention 벡터 연산을 도입했습니다.

f16 flash-attn 벡터 인스턴스화 53개를 추가하여 총수를 80에서 133으로 증가시켰습니다.
shared memory capacity fallback이 있는 tuning table 및 dispatch wiring을 구현했습니다.
quantized KV caches를 지원하기 위해 벡터 튜닝을 확장했습니다.
M1 Pro, M2 Ultra 및 M5 Max 장치에 대한 tuned 파라미터를 포함했습니다.

이 업데이트는 Metal 백엔드에 특정 튜닝 결과를 적용하여 Apple Silicon 하드웨어의 성능을 최적화합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp b10614에 Metal 연산별 소스 분할 및 병렬 컴파일 추가

llama.cpp b10614 릴리스는 연산 소스를 분할하고 병렬 컴파일을 활성화하여 Metal 백엔드에 중요한 아키텍처 변경을 도입했습니다. 이 업데이트에는 여러 새로운 커널 구현과 추가 양자화 형식 지원도 포함되어 있습니다.

github llama.cpp · 10시간 전 · 조회수 12회

llama.cpp b10610, CUDA 및 Metal에서 가상 장치 명명 축약

llama.cpp 프로젝트는 CUDA 및 Metal 플랫폼 모두에 대해 ggml 백엔드 내 가상 장치 명명을 단축하는 변경 사항을 포함하는 버전 b10610을 출시했습니다.

github llama.cpp · 15시간 전 · 조회수 17회

llama.cpp b10605, GEMM 디스패치를 위해 mamba2 투영을 평탄화

llama.cpp 프로젝트는 Mamba2 아키텍처를 위한 핵심 최적화를 포함한 빌드 b10605를 출시했습니다. 이 업데이트는 Mamba2 모델의 입력 및 출력 투영을 평탄화하여 일반 행렬-벡터(GEMV) 연산 대신 일반 행렬 곱셈(GEMM) 연산을 디스패치합니다.

github llama.cpp · 1일 전 · 조회수 13회

llama.cpp b10603이 GLM-4.5-Air에 MTP 지원 추가

llama.cpp 프로젝트가 빌드 b10603을 출시하여 GLM-4.5-Air 모델에 대한 멀티 토큰 예측(MTP) 지원을 도입했습니다.

github llama.cpp · 3일 전 · 조회수 5회

ggml이 요소별 memcpy를 행 수준 memcpy로 교체하여 concat 연산을 최적화합니다

ggml 라이브러리는 요소별 메모리 복사 대신 행 수준 memcpy 작업을 사용하여 연결(concat) 연산을 최적화했습니다. 이 변경은 llama.cpp의 b10578 릴리스의 일부이며, 여기에는 다양한 플랫폼별 바이너리와 기본 계산 그래프의 업데이트가 포함되어 있습니다.