github llama.cpp · 1시간 전 · inference

llama.cpp b11403은 작은 배치 크기에서 얇은 f16/bf16 mul_mat에 MMVF를 사용

번역 English → 한국어

llama.cpp 프로젝트는 b11403 버전을 출시했으며, 여기에는 작은 배치 크기에서 얇은 f16 및 bf16 행렬 곱셈에 MMVF 커널을 사용하기 위한 CUDA 최적화가 포함되어 있습니다.

NVIDIA GPU에서 성능 개선을 위해 커널 선택 논리를 조정했습니다.
macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android 및 openEuler용 바이너리를 제공했습니다.
표준 바이너리와 함께 iOS XCFramework 및 UI 빌드를 포함했습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b11405, 4개의 헤드를 위해 키와 토큰에 걸쳐 라이트닝 인덱서를 타일링함

llama.cpp b11405 릴리스는 작은 헤드 수에서 성능 문제를 해결하기 위해 4개의 헤드를 위해 키와 토큰에 걸쳐 라이트닝 인덱서를 타일링하여 CUDA 백엔드를 업데이트합니다.

github llama.cpp · 19시간 전 · 조회수 28회

llama.cpp b11390 CUDA MMQ 메모리 오류 수정

llama.cpp 프로젝트는 전문가 수가 마이크로 배치 크기보다 훨씬 클 때 발생하는 CUDA MMQ 메모리 오류를 수정한 버전 b11390을 출시했습니다.

github llama.cpp · 2일 전 · 조회수 24회

llama.cpp b11375이 GGML_SCHED_NO_REALLOC 하에서 그래프 재할당 중단 문제를 수정

llama.cpp 프로젝트는 GGML_SCHED_NO_REALLOC 플래그가 설정되어 있을 때 중단되는 비연속 ubatch 셀로 인한 그래프 재할당을 해결하는 빌드 b11375을 출시했습니다.

github llama.cpp · 2일 전 · 조회수 29회

llama.cpp b11372, qwen4exp 인덱서 메모리 절반으로 줄이고 CUDA 4-헤드 지원 추가

llama.cpp b11372 릴리스는 긴 컨텍스트 처리 중 인덱서 점수에 필요한 메모리를 주로 절반으로 줄이는 qwen4exp 모델의 라이트닝 인덱서에 대한 최적화를 도입합니다. 이는 각 헤드에 대해 별도의 텐서를 생성하는 대신 헤드 점수를 제자리에서 계산함으로써 달성됩니다.

github llama.cpp · 2일 전 · 조회수 30회

llama.cpp b11368이 단순 드래프트 및 MTP에 대한 확률적 샘플링 추가

llama.cpp 프로젝트는 단순 드래프트 및 MTP(Multi-Token Prediction) 워크플로우를 위한 확률적 샘플링을 도입한 빌드 b11368을 출시했습니다. 이 업데이트는 거부 샘플링을 통해 대상을 검증하면서 확률적 선택을 사용하도록 드래프팅 메커니즘을 수정합니다.