github llama.cpp · 1일 전 · inference

llama.cpp b10691이 F16 mul_mat의 Metal null-pipeline 충돌을 수정함

번역 English → 한국어

llama.cpp 프로젝트는 Metal 백엔드의 중요한 안정성 문제를 해결하는 빌드 b10691을 출시했습니다. 이 업데이트는 F16 소스 곱셈 연산 중 발생하는 null-pipeline 충돌을 구체적으로 해결합니다.

F16 src1 mul_mat 및 mul_mat_id 연산에 대한 null-pipeline 충돌 수정.
F16 커널이 없는 mul_mat 형태에 대해 fail-closed 동작 구현.
encoder_set_pipeline에서 nil 파이프라인에 대한 abort 로직 추가.
코드 일관성 개선을 위해 mul_mat mm 디스패치를 supports_op와 공유.

이 릴리스는 CPU, GPU 및 CUDA, ROCm, Vulkan, OpenVINO를 포함한 전용 하드웨어 백엔드를 위한 macOS, iOS, Linux, Windows, Android, openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b10718이 specdec 및 멀티 토큰에 MOE 융합을 확장

llama.cpp 프로젝트는 CUDA 백엔드에 중요한 업데이트를 포함하는 버전 b10718을 출시했습니다. 가장 주목할 만한 변경은 Mixture of Experts (MOE) 융합을 스펜크티브 디코딩(specdec) 지원을 위해 확장하여, 이전 MOE glu 융합과 topk-router 융합이 한 번에 하나의 토큰만 처리하도록 제한되었던 문제를 해결한 것입니다.

github llama.cpp · 4시간 전 · 조회수 3회

llama.cpp b10717 릴리스로 SYCL 메모리 정보 검색이 향상됨

llama.cpp 프로젝트는 Intel GPU용 SYCL 백엔드에 대한 특정 기능을 개선한 버전 b10717을 출시했습니다. 이 업데이트는 L0 SYCL API를 활용하여 사용 가능한 메모리 정보를 검색하는 능력을 향상시킵니다.

github llama.cpp · 10시간 전 · 조회수 3회

llama.cpp b10712가 Qwen 3.8 Flash Next를 위해 Vulkan top-k radix select 추가

llama.cpp 프로젝트는 빌드 b10712를 출시하여 1024 이상의 k 값을 지원하도록 설계된 Vulkan용 새로운 top-k radix sort 셰이더를 도입했습니다. 이 업데이트는 Qwen 3.8 Flash Next 모델을 특별히 타겟으로 하며, 해당 테스트와 top-k qsa 융합을 포함합니다.

github llama.cpp · 17시간 전 · 조회수 6회

llama.cpp b10705이 TENSOR_READ_LAZY 처리를 개선

llama.cpp 프로젝트는 TENSOR_READ_LAZY 처리 메커니즘에 대한 개선을 포함하는 버전 b10705를 출시했습니다. 이 업데이트는 지연 설정이 활성화된 경우 CPU에서 지연 텐서를 강제로 로드합니다.

github llama.cpp · 18시간 전 · 조회수 4회

llama.cpp b10702가 AMD gfx1201용 Q2_0 곱셈을 최적화합니다

llama.cpp 프로젝트는 AMD의 gfx1201 아키텍처에서 Q2_0 양자화 내적 경로에 대한 특정 최적화를 포함하는 버전 b10702를 출시했습니다. 이 업데이트는 HIP 구현을 네이티브 amdgcn 순서 바꾸기 명령어를 사용하도록 확장하여 이 특정 하드웨어 구성의 성능을 향상시킵니다.