github llama.cpp · 12시간 전 · inference

llama.cpp b11035이 Vulkan용 IQ3_S MMQ 행렬 곱 커널 추가

번역 English → 한국어

llama.cpp 프로젝트는 Vulkan 백엔드에서 IQ3_S MMQ 행렬 곱 커널에 대한 지원을 도입한 버전 b11035를 출시했습니다.

업데이트에는 Vulkan용 새로운 IQ3_S MMQ matmul 커널이 포함됩니다.
Block_a_to_shmem은 메모리 접근을 최적화하기 위해 2바이트 로드 작업을 수행합니다.
IQ3_S가 K 타일 크기를 사용하므로 정렬 확인이 조정되었습니다.
바이너리는 CPU, CUDA, ROCm, OpenVINO, SYCL 및 OpenCL 플랫폼에서 macOS, Linux, Windows, Android 및 openEuler에 대해 사용할 수 있습니다.

이 릴리스는 다양한 운영 체제와 하드웨어 가속기를 위한 업데이트된 바이너리를 제공하여 사용자가 새로운 Vulkan 양자화 지원을 활용할 수 있게 합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp b11046이 flash_attn_f32_f16_bin 커널에 OpenCL 지원 추가

llama.cpp 프로젝트가 버전 b11046을 출시하여 `flash_attn_f32_f16_bin` 커널에 대한 OpenCL 지원을 도입했습니다. 이 업데이트에는 OpenCL 장치에서 Flash Attention을 위한 보호된 prefill 기능도 포함되어 있습니다.

github llama.cpp · 1시간 전 · 조회수 1회 실시간

llama.cpp b11044이 hexagon im2col을 업데이트하고 바이너리 출시

llama.cpp 프로젝트는 image-to-column (im2col) 작업을 개선하기 위한 hexagon 백엔드 업데이트가 포함된 버전 b11044을(를) 출시했습니다. 이 릴리스는 macOS, Linux, Windows, Android 및 openEuler용 CPU, GPU 및 기타 하드웨어 가속기에 대한 사전 빌드된 바이너리를 제공합니다.

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp b11045, Hexagon 백엔드에 ROLL 연산 지원 추가

llama.cpp 프로젝트가 버전 b11045를 출시했으며, 이는 Hexagon 백엔드 내에서 ROLL 연산에 대한 지원을 도입합니다.

github llama.cpp · 1일 전 · 조회수 5회

llama.cpp b11026, Qwen35MoE 의 gate_up_exps 건너뜀

llama.cpp 프로젝트는 TENSOR_SKIP 플래그가 설정되어 있을 때 gate_up_exps 를 건너뛰도록 하는 변경 사항을 도입한 빌드 b11026 을 출시했습니다. 이 수정은 MTP 텐서가 융합되었지만 로드되지 않은 Qwen35MoE 모델에 특히 필요합니다.

github llama.cpp · 2일 전 · 조회수 4회

llama.cpp b11019는 임베디드 파일에 대한 GGUF 데이터 정렬을 수정하고 LoRA 로딩을 추가합니다

llama.cpp 프로젝트는 비정렬 오프셋에 임베디드된 GGUF 파일이 잘못된 텐서 데이터를 반환하는 치명적인 버그를 해결하기 위해 버전 b11019를 출시했습니다. 이 업데이트는 파일 시작점이 아닌 오프셋 0을 기준으로 GGUF 데이터 섹션을 정렬하여 임베디드 모델의 정확한 로딩을 보장합니다.