github llama.cpp · 방금 · inference

llama.cpp b11301이 ggml/gguf의 정수 오버플로우 수정

번역 English → 한국어

llama.cpp 프로젝트는 ggml 및 gguf 구성 요소 내의 정수 오버플로우 문제를 수정한 빌드 b11301을 출시했습니다. 이 업데이트는 제로 요소 텐서를 처리할 때 잠재적 오류를 방지하기 위해 검증 로직을 개선합니다.

ggml에서 제로 요소 텐서에 대한 정수 오버플로우 가드를 수정했습니다.
정수 오버플로우를 방지하기 위해 텐서의 요소 수를 검증합니다.
ggml 모듈의 오류 출력을 수정했습니다.

이 릴리스는 CPU, GPU(CUDA, Vulkan, ROCm, OpenCL) 및 NPU 백엔드에 대해 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b11302는 희소 인덱서의 ThreadSanitizer 데이터 경고를 수정합니다

llama.cpp 프로젝트는 CI 파이프라인에서 ThreadSanitizer가 식별한 중대한 동시성 문제를 해결하는 빌드 b11302를 출시했습니다. 이 업데이트는 여러 CPU 스레드가 동일한 메모리 요소에 잘못 작성하여 발생한 희소 어텐션 메커니즘 내의 데이터 경고를 해결합니다.

github llama.cpp · 1시간 전 · 조회수 2회 실시간

llama.cpp b11298이 변환 및 기능 추출을 위한 dflash 지원을 추가합니다

llama.cpp 프로젝트는 dflash 형식에 대한 지원을 도입한 빌드 b11298을 출시했습니다. 이 업데이트는 모델을 이 형식으로 변환하고 후속 기능 추출 기능을 사용할 수 있게 합니다.

github llama.cpp · 8시간 전 · 조회수 2회

llama.cpp b11284가 양자화된 가중치 뷰에서 OpenVINO GET_ROWS를 수정함

llama.cpp 프로젝트는 양자화된 가중치 뷰에 대한 GET_ROWS 연산을 올바르게 처리하기 위한 OpenVINO 백엔드 수정 사항을 포함한 빌드 b11284를 출시했습니다.

github llama.cpp · 11시간 전 · 조회수 2회

llama.cpp가 k-pool 및 MTP 수정과 함께 GLM-5.3-Flash 지원 추가

llama.cpp 프로젝트는 하이브리드 인덱스 메모리로의 마이그레이션 및 초기 Multi-Token Prediction (MTP) 기능을 포함하여 GLM-5.3-Flash (GLM5-Next) 모델 아키텍처에 대한 초기 지원을 추가했습니다.

github llama.cpp · 14시간 전 · 조회수 2회

llama.cpp b11272, Hexagon 연결 연산 최적화

llama.cpp 프로젝트는 Hexagon 백엔드에 대한 최적화를 포함한 빌드 b11272을 출시했습니다. 주요 변경 사항은 Qualcomm Snapdragon 하드웨어에서 성능을 향상시키기 위해 연결 연산을 최적화하는 것입니다.