github llama.cpp · 방금 · inference

llama.cpp b11122, MMVQ GLU 융합 확장 및 새로운 SYCL 융합 추가

번역 English → 한국어

llama.cpp 프로젝트가 버전 b11122를 출시했으며, 여기에는 SYCL 백엔드에 대한 중요한 업데이트가 포함되어 있습니다. 이번 릴리스는 혼합 양자화 유형을 지원하도록 MMVQ GLU 융합을 확장하고 rms_norm+scale 및 ssm_conv+silu 연산에 대한 새로운 융합을 도입합니다.

SYCL 백엔드에서 혼합 양자화 유형을 처리하도록 MMVQ GLU 융합을 확장합니다.
SYCL을 위한 rms_norm+scale 및 ssm_conv+silu 융합을 추가합니다.
간격 문제를 수정하고 매크로를 템플릿 함수로 변환합니다.
CUDA, Vulkan, ROCm, OpenVINO를 포함한 CPU, GPU, NPU 백엔드에 대해 macOS, Linux, Windows, Android, openEuler용 바이너리를 제공합니다.

이 업데이트는 llama.cpp 생태계 내에서 SYCL 기반 하드웨어 가속의 성능과 호환성을 향상시킵니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency Local inference

원문 보기

llama.cpp가 HunyuanOCR에 대한 DFlash 지원을 추가하고 드래프트 변환을 수정함

llama.cpp 프로젝트는 타겟 그래프에서 레이어 입력 텐서를 노출하여 HunyuanOCR 모델과 함께 DFlash 추측 디코딩에 대한 지원을 추가했습니다. 이 변경 사항으로 드래프트 모델이 잔류 스트림을 읽을 수 있게 되어, 비추측 실행과 비교할 때 약 0.5의 드래프트 수용률과 바이트 단위로 동일한 OCR 출력을 유지하며 이미지 요청을 성공적으로 실행할 수 있습니다.

lab Hugging Face Blog · 21시간 전 · 조회수 10회

Transformers가 ggml 커널을 통해 GGUF 지원 추가

Hugging Face의 Transformers 라이브러리는 이제 기본 ggml 커널을 활용하여 llama.cpp에 가까운 성능을 제공하며 GGUF 양자화된 모델을 로드할 수 있게 되었습니다. 이 통합을 통해 개발자는 지원되는 하드웨어에서 표준 PyTorch 기반 API 내에서 양자화된 체크포인트를 직접 실행할 수 있습니다.

github llama.cpp · 4일 전 · 조회수 21회

llama.cpp b11046이 flash_attn_f32_f16_bin 커널에 OpenCL 지원 추가

llama.cpp 프로젝트가 버전 b11046을 출시하여 `flash_attn_f32_f16_bin` 커널에 대한 OpenCL 지원을 도입했습니다. 이 업데이트에는 OpenCL 장치에서 Flash Attention을 위한 보호된 prefill 기능도 포함되어 있습니다.

github llama.cpp · 6일 전 · 조회수 15회

llama.cpp b11019는 임베디드 파일에 대한 GGUF 데이터 정렬을 수정하고 LoRA 로딩을 추가합니다

llama.cpp 프로젝트는 비정렬 오프셋에 임베디드된 GGUF 파일이 잘못된 텐서 데이터를 반환하는 치명적인 버그를 해결하기 위해 버전 b11019를 출시했습니다. 이 업데이트는 파일 시작점이 아닌 오프셋 0을 기준으로 GGUF 데이터 섹션을 정렬하여 임베디드 모델의 정확한 로딩을 보장합니다.

github llama.cpp · 7일 전 · 조회수 20회

llama.cpp b11006이 K-Quants Q4_K 및 Q6_K에 대한 Hexagon 지원을 추가

llama.cpp 프로젝트는 K-Quantization 형식을 처리하기 위해 Qualcomm Hexagon 프로세서에 대한 지원을 도입한 버전 b11006을 출시했습니다. 이 업데이트는 Hexagon 아키텍처에서 Q4_K 및 Q6_K 양자화 수준을 위한 특정 커널을 구현합니다.