github llama.cpp · 2시간 전 · inference

llama.cpp b10539이 Vulkan FA MMQ 오버플로우를 수정하고 Windows CUDA 13 지원을 추가합니다

번역 English → 한국어

llama.cpp 프로젝트는 Vulkan 백엔드의 중요한 수치 안정성 문제를 해결하고 Windows 사용자를 위한 하드웨어 지원을 확장하는 버전 b10539를 출시했습니다.

이 업데이트는 산술 오류를 방지하여 Vulkan 장치에서 안정적인 성능을 보장하고 사용자에게 최신 CUDA 13 호환성 옵션을 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

llama.cpp 프로젝트는 빌드 b10541을 출시하여 멀티모달 투영 파일을 로드할 장치 백엔드를 사용자가 지정할 수 있도록 하는 `--mmproj-device` 명령줄 인수를 도입했습니다.

llama.cpp 프로젝트는 Metal 백엔드의 텐서 API 행렬 곱셈 커널의 치명적인 버그를 해결한 빌드 b10545를 출시했습니다. 이 업데이트는 K 차원이 32의 배수가 아닌 텐서를 처리할 때 정의되지 않은 동작과 손상된 결과를 방지합니다.

llama.cpp 프로젝트는 양자화된 디코딩 시 CUDA에서 벡터와 텐서 코어 경로 간의 크로스오버를 조정하기 위한 하드웨어별 전환 지점을 도입한 빌드 b10534를 출시했습니다.

llama.cpp 프로젝트는 metal 백엔드에 주요 최적화를 도입한 버전 b10538을 출시했습니다. 이 업데이트는 대규모 배치 크기에 대해서만 키-값(KV) 캐시의 디쿼ン타이제이션을 활성화합니다.

llama.cpp 프로젝트가 버전 b10532를 출시하여, Metal 백엔드에서 양자화된 키-값(KV) 캐시를 Flash Attention 실행 전에 F16으로 디쿼ン테이션하는 전처리 패스를 도입했습니다.