github llama.cpp · 1시간 전 · inference

llama.cpp b11120, Vulkan 내부 심볼을 숨겨 상태 파괴 문제 해결

번역 English → 한국어

llama.cpp 프로젝트는 Vulkan 백엔드에서 내부 심볼을 숨김으로써 중대한 버그를 수정한 버전 b11120을 출시했습니다. 이 변경은 내부 심볼이 내보내질 때 발생하던 중복 dlopen 상태 파괴 문제를 방지합니다.

vk_instance.device_indices에서 GGML_ASSERT 오류를 유발하며 살아있는 vk_instance를 파괴하는 인터포즈드 소멸자로 인해 발생한 이슈 #29138을 수정했습니다.
GGML_BACKEND_API만 숨겨진 가시성으로 내보내며, PR #28732에서 도입된 내보내기 동작을 되돌렸습니다.
macOS(Apple Silicon 및 Intel), Linux(CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL, Snapdragon), Windows(CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0), Android, openEuler용 바이너리를 제공합니다.
다양한 플랫폼별 바이너리와 함께 iOS XCFramework 및 UI 빌드를 포함합니다.

이 업데이트는 라이브러리 로딩 중 심볼 인터포지션으로 인한 충돌을 해결하여 Vulkan 백엔드에 의존하는 사용자의 안정성을 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

관련 기사

github llama.cpp · 6시간 전 · 조회수 13회

llama.cpp b11118 HVX FA 마스크 처리를 위한 직접 매핑 DMA 캐시 도입

llama.cpp 프로젝트는 새로운 hex-dma 기능을 포함하는 빌드 b11118을 출시했으며, 이는 Hexagon Vector eXtended (HVX) FA 마스크 처리에 더 적합한 직접 매핑 DMA 캐시를 소개합니다.

github llama.cpp · 17시간 전 · 조회수 9회

llama.cpp가 HunyuanOCR에 대한 DFlash 지원을 추가하고 드래프트 변환을 수정함

llama.cpp 프로젝트는 타겟 그래프에서 레이어 입력 텐서를 노출하여 HunyuanOCR 모델과 함께 DFlash 추측 디코딩에 대한 지원을 추가했습니다. 이 변경 사항으로 드래프트 모델이 잔류 스트림을 읽을 수 있게 되어, 비추측 실행과 비교할 때 약 0.5의 드래프트 수용률과 바이트 단위로 동일한 OCR 출력을 유지하며 이미지 요청을 성공적으로 실행할 수 있습니다.

github llama.cpp · 17시간 전 · 조회수 13회

llama.cpp b11104에서 llama-server를 여러 주소에 바인딩하는 지원 추가

llama.cpp 프로젝트는 llama-server 구성 요소가 동시에 여러 네트워크 주소에 바인딩할 수 있는 새로운 기능을 도입한 버전 b11104를 출시했습니다.

github llama.cpp · 19시간 전 · 조회수 15회

llama.cpp b11102, MiMo-V2.6 지원 추가

llama.cpp 프로젝트는 MiMo-V2.6 모델 변환 지원을 도입한 빌드 b11102를 출시했습니다.

lab Hugging Face Blog · 20시간 전 · 조회수 10회

Transformers가 ggml 커널을 통해 GGUF 지원 추가

Hugging Face의 Transformers 라이브러리는 이제 기본 ggml 커널을 활용하여 llama.cpp에 가까운 성능을 제공하며 GGUF 양자화된 모델을 로드할 수 있게 되었습니다. 이 통합을 통해 개발자는 지원되는 하드웨어에서 표준 PyTorch 기반 API 내에서 양자화된 체크포인트를 직접 실행할 수 있습니다.