github llama.cpp · 방금 · inference

llama.cpp b10727, 양자화된 타입에 대한 concat 지원 추가

번역 English → 한국어

llama.cpp 프로젝트는 양자화된 데이터 타입에 대한 연결(concatenation) 지원을 도입한 빌드 b10727을 출시했습니다. 이 업데이트는 DeepSeek-V4-Flash-0731의 도움을 받았으며, CPU, CUDA, ROCm, Vulkan을 포함한 다양한 하드웨어 백엔드에서 macOS, Linux, Windows, Android, openEuler용 바이너리를 포함합니다.

이번 릴리스는 여러 플랫폼과 아키텍처에 대한 사전 컴파일된 바이너리를 제공합니다:

macOS Apple Silicon (arm64) 및 Intel (x64)
XCFramework를 통한 iOS
Vulkan, ROCm 7.14, OpenVINO, SYCL 지원을 갖춘 Ubuntu x64, arm64, s390x 및 기타 변형을 포함한 Linux 배포판
CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14 옵션을 갖춘 Windows x64 및 arm64
Android arm64 (CPU)
openEuler x86 및 aarch64 구성

이번 릴리스를 통해 사용자는 광범위하게 지원되는 운영 체제와 하드웨어 가속기 전반에 걸쳐 새로운 양자화된 concat 기능을 활용할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

관련 기사

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp b10726, AVX2를 사용하여 대규모 배치 IQ 모델 프롬프트 처리 가속화

llama.cpp 프로젝트는 IQ 양자화된 모델에서 큰 배치 크기를 처리하기 위한 상당한 성능 최적화를 도입한 버전 b10726을 출시했습니다. 주요 업데이트는 배치된 GEMM 연산을 통해 그리드 IQ 양자화를 가속화하기 위해 AVX2 명령을 활용합니다.

github llama.cpp · 4시간 전 · 조회수 2회

llama.cpp b10723, Intel Xe-LP GPU용 OpenCL 양자화 경로 조정

llama.cpp 프로젝트는 Intel Xe-LP 그래픽 하드웨어에 대한 OpenCL 특정 최적화를 포함하는 버전 b10723을 출시했습니다. 이 업데이트는 양자화 커널을 조정하여 텐서 생성(TG) 및 프리필(PP) 성능을 개선하는 데 중점을 둡니다.

github llama.cpp · 7시간 전 · 조회수 1회

llama.cpp b10718이 specdec 및 멀티 토큰에 MOE 융합을 확장

llama.cpp 프로젝트는 CUDA 백엔드에 중요한 업데이트를 포함하는 버전 b10718을 출시했습니다. 가장 주목할 만한 변경은 Mixture of Experts (MOE) 융합을 스펜크티브 디코딩(specdec) 지원을 위해 확장하여, 이전 MOE glu 융합과 topk-router 융합이 한 번에 하나의 토큰만 처리하도록 제한되었던 문제를 해결한 것입니다.

github llama.cpp · 9시간 전 · 조회수 3회

llama.cpp b10717 릴리스로 SYCL 메모리 정보 검색이 향상됨

llama.cpp 프로젝트는 Intel GPU용 SYCL 백엔드에 대한 특정 기능을 개선한 버전 b10717을 출시했습니다. 이 업데이트는 L0 SYCL API를 활용하여 사용 가능한 메모리 정보를 검색하는 능력을 향상시킵니다.

github llama.cpp · 15시간 전 · 조회수 3회

llama.cpp b10712가 Qwen 3.8 Flash Next를 위해 Vulkan top-k radix select 추가

llama.cpp 프로젝트는 빌드 b10712를 출시하여 1024 이상의 k 값을 지원하도록 설계된 Vulkan용 새로운 top-k radix sort 셰이더를 도입했습니다. 이 업데이트는 Qwen 3.8 Flash Next 모델을 특별히 타겟으로 하며, 해당 테스트와 top-k qsa 융합을 포함합니다.