github llama.cpp · 4시간 전 · inference

llama.cpp b10995, Vulkan MUL_MAT_ID BN/2 테일을 무조건적으로 만듦

번역 English → 한국어

llama.cpp 프로젝트는 Vulkan 백엔드의 MUL_MAT_ID 연산 처리를 수정하는 빌드 b10995를 출시했습니다. 구체적으로 이 변경은 BNover2의 기본값으로 BN/2를 사용하고 BNover4에 대한 비활성화된 폴백으로 사용함으로써 BN/2 테일을 무조건적으로 만들며, 해당 브랜치에서 활성화 게이트를 제거합니다.

이번 릴리스에는 macOS(Apple Silicon 및 Intel), iOS, Linux(CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows(CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) 및 openEuler용 바이너리가 포함되어 있습니다.

이 업데이트는 여러 플랫폼과 하드웨어 가속기에서 업데이트된 빌드를 사용자에게 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

관련 기사

github llama.cpp · 12시간 전 · 조회수 1회

llama.cpp b10989, ROCm에서 AllReduce 지원 및 다중 플랫폼 바이너리 제공

llama.cpp 프로젝트는 ROCm 백엔드 내에서 AllReduce 연산을 활성화하는 지원을 도입한 버전 b10989를 출시했습니다. 이 업데이트는 대규모 언어 모델 추론을 위한 하드웨어 호환성 및 분산 컴퓨팅 기능을 확장하기 위한 지속적인 개발의 일환입니다.

github llama.cpp · 16시간 전 · 조회수 1회

llama.cpp b10988이 추론 디코딩을 위한 OpenCL MoE 전문가 행렬 곱 선택 추가

llama.cpp 프로젝트는 Mixture of Experts (MoE) 모델을 위해 OpenCL 백엔드에 변경 사항을 도입하는 빌드 b10988을 출시했습니다. 이 업데이트는 추론 디코딩 및 다중 토큰 예측 동안 배치 크기에 기반하여 MoE 전문가 행렬 곱을 선택하는 로직을 구현합니다.

github llama.cpp · 21시간 전 · 조회수 1회

llama.cpp b10984, CUDA 행 연속 SUM_ROWS 지원 추가

llama.cpp 프로젝트는 버전 b10984를 출시하여 행 연속 SUM_ROWS 연산에 대한 CUDA 지원을 도입했습니다. 이 업데이트는 공유 커널을 통해 행 연속 텐서를 처리하기 위해 GGML_OP_MEAN을 포함하도록 코드를 정리합니다.

github llama.cpp · 21시간 전 · 조회수 1회

llama.cpp b10985은 RPC 해시 캐시를 가중치로 제한

llama.cpp 프로젝트는 빌드 b10985을 출시하여 해시 기반 캐싱을 가중치 텐서로만 제한하도록 RPC 백엔드를 수정했습니다. 이 변경은 활성화 데이터가 불필요하게 해시되고 저장되어 디스크 사용량이 과도해지는 문제를 해결합니다.

github llama.cpp · 1일 전 · 조회수 4회

llama.cpp b10981, Gemma-4의 상태 디코딩 수정 및 GPU MoE 추론 최적화

llama.cpp b10981 릴리스는 OpenVINO 백엔드의 상태 디코딩 경로에서 중요한 정확성 문제를 해결하며, 특히 레이어별 헤드 크기를 사용하는 Gemma-4와 같은 모델에 대한 지원을 수정합니다. 또한 GPU Mixture of Experts (MoE) 추론을 위한 최적화를 도입하고 KV 상태 재배치를 통해 성능을 개선합니다.