github llama.cpp · 1시간 전 · inference

llama.cpp b11390 CUDA MMQ 메모리 오류 수정

번역 English → 한국어

llama.cpp 프로젝트는 전문가 수가 마이크로 배치 크기보다 훨씬 클 때 발생하는 CUDA MMQ 메모리 오류를 수정한 버전 b11390을 출시했습니다.

Mixture-of-Experts (MMQ) 처리와 관련된 CUDA 백엔드의 메모리 오류를 해결합니다.
macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android 및 openEuler용 바이너리를 제공합니다.
업데이트된 UI 빌드를 포함합니다.

이 업데이트는 특정 메모리 접근 오류를 방지하여 CUDA 하드웨어에서 Mixture-of-Experts 모델을 실행하는 사용자에게 안정성을 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b11375이 GGML_SCHED_NO_REALLOC 하에서 그래프 재할당 중단 문제를 수정

llama.cpp 프로젝트는 GGML_SCHED_NO_REALLOC 플래그가 설정되어 있을 때 중단되는 비연속 ubatch 셀로 인한 그래프 재할당을 해결하는 빌드 b11375을 출시했습니다.

github llama.cpp · 1일 전 · 조회수 15회

llama.cpp b11372, qwen4exp 인덱서 메모리 절반으로 줄이고 CUDA 4-헤드 지원 추가

llama.cpp b11372 릴리스는 긴 컨텍스트 처리 중 인덱서 점수에 필요한 메모리를 주로 절반으로 줄이는 qwen4exp 모델의 라이트닝 인덱서에 대한 최적화를 도입합니다. 이는 각 헤드에 대해 별도의 텐서를 생성하는 대신 헤드 점수를 제자리에서 계산함으로써 달성됩니다.

github llama.cpp · 1일 전 · 조회수 17회

llama.cpp b11368이 단순 드래프트 및 MTP에 대한 확률적 샘플링 추가

llama.cpp 프로젝트는 단순 드래프트 및 MTP(Multi-Token Prediction) 워크플로우를 위한 확률적 샘플링을 도입한 빌드 b11368을 출시했습니다. 이 업데이트는 거부 샘플링을 통해 대상을 검증하면서 확률적 선택을 사용하도록 드래프팅 메커니즘을 수정합니다.

github llama.cpp · 2일 전 · 조회수 16회

llama.cpp b11362이 F16 KV용 텐서 API 플래시 어텐션 커널 추가

llama.cpp 프로젝트는 F16 키-값 (KV) 저장을 지원하는 새로운 텐서 API 플래시 어텐션 커널을 도입한 빌드 b11362를 출시했습니다. 이 업데이트는 CUDA, Vulkan 및 ROCm을 포함한 다양한 백엔드 옵션과 함께 macOS, Linux, Windows, Android 및 iOS 플랫폼에서 사용할 수 있습니다.

github llama.cpp · 2일 전 · 조회수 16회

llama.cpp b11351이 ggml 백엔드 버퍼 타입 인터페이스에 alloc_buffer_n 및 get_alloc_size_n 추가

llama.cpp 프로젝트가 빌드 b11351을 출시하며 ggml 백엔드 버퍼 타입 인터페이스에 새로운 메서드를 도입했습니다. 이번 업데이트는 버퍼 할당과 크기 조회에 대한 더 세밀한 제어를 가능하게 하기 위해 `alloc_buffer_n` 및 `get_alloc_size_n`를 추가합니다.