github llama.cpp · 1시간 전 · inference

llama.cpp b11405, 4개의 헤드를 위해 키와 토큰에 걸쳐 라이트닝 인덱서를 타일링함

번역 English → 한국어

llama.cpp b11405 릴리스는 작은 헤드 수에서 성능 문제를 해결하기 위해 4개의 헤드를 위해 키와 토큰에 걸쳐 라이트닝 인덱서를 타일링하여 CUDA 백엔드를 업데이트합니다.

커널은 모든 헤드의 쿼리와 가중치를 한 번에 스테이징하며, 반정밀 키 요소를 한 번 확장하여 float 왕복 없이 모든 헤드에 공급합니다.
q * k가 f16 범위를 초과할 때 half2 곱셈으로 인한 오버플로우를 방지하기 위해 쿼리는 공유 메모리 내에서 float 상태로 유지됩니다.
각 스레드는 이제 단일 토큰에 대해 두 개의 키를 점수화하여 공유 읽기를 줄이고 gfx908을 63 VGPR로 유지하며 레지스터 스플릴을 방지합니다.
이 최적화는 R9700에서 커널을 36배 빠르게 만들고 CUDA 하드웨어에서도 약간 더 빠르게 만듭니다.

이 릴리스는 CPU, GPU(CUDA, ROCm, Vulkan, OpenCL), NPU 백엔드 전반에 걸쳐 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

관련 기사

github llama.cpp · 1시간 전 · 조회수 1회 실시간

llama.cpp b11403은 작은 배치 크기에서 얇은 f16/bf16 mul_mat에 MMVF를 사용

llama.cpp 프로젝트는 b11403 버전을 출시했으며, 여기에는 작은 배치 크기에서 얇은 f16 및 bf16 행렬 곱셈에 MMVF 커널을 사용하기 위한 CUDA 최적화가 포함되어 있습니다.

github llama.cpp · 19시간 전 · 조회수 28회

llama.cpp b11390 CUDA MMQ 메모리 오류 수정

llama.cpp 프로젝트는 전문가 수가 마이크로 배치 크기보다 훨씬 클 때 발생하는 CUDA MMQ 메모리 오류를 수정한 버전 b11390을 출시했습니다.

github llama.cpp · 2일 전 · 조회수 24회

llama.cpp b11375이 GGML_SCHED_NO_REALLOC 하에서 그래프 재할당 중단 문제를 수정

llama.cpp 프로젝트는 GGML_SCHED_NO_REALLOC 플래그가 설정되어 있을 때 중단되는 비연속 ubatch 셀로 인한 그래프 재할당을 해결하는 빌드 b11375을 출시했습니다.

github llama.cpp · 2일 전 · 조회수 29회

llama.cpp b11372, qwen4exp 인덱서 메모리 절반으로 줄이고 CUDA 4-헤드 지원 추가

llama.cpp b11372 릴리스는 긴 컨텍스트 처리 중 인덱서 점수에 필요한 메모리를 주로 절반으로 줄이는 qwen4exp 모델의 라이트닝 인덱서에 대한 최적화를 도입합니다. 이는 각 헤드에 대해 별도의 텐서를 생성하는 대신 헤드 점수를 제자리에서 계산함으로써 달성됩니다.

github llama.cpp · 2일 전 · 조회수 30회

llama.cpp b11368이 단순 드래프트 및 MTP에 대한 확률적 샘플링 추가

llama.cpp 프로젝트는 단순 드래프트 및 MTP(Multi-Token Prediction) 워크플로우를 위한 확률적 샘플링을 도입한 빌드 b11368을 출시했습니다. 이 업데이트는 거부 샘플링을 통해 대상을 검증하면서 확률적 선택을 사용하도록 드래프팅 메커니즘을 수정합니다.