github llama.cpp · 8시간 전 · inference

llama.cpp b11320에 LLM-jp-4.1 하모니 방언 핸들러 추가

번역 English → 한국어

llama.cpp 프로젝트가 LLM-jp-4.1 모델용 새로운 방언 핸들러를 포함하는 빌드 b11320을 출시했습니다.

업데이트는 토크나이저 및 병렬 도구 호출 형식과의 호환성 문제를 해결하기 위해 LLM-jp-4.1 하모니 방언에 대한 지원을 추가합니다.
이 릴리스는 macOS(Apple Silicon 및 Intel), iOS, Linux(CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows 및 openEuler용 바이너리를 제공합니다.
배포판에는 독립형 UI 패키지도 포함되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Local inference

llama.cpp b11307, 추론 디코딩을 위해 배치 순서 유지

llama.cpp 프로젝트는 빌드 b11307을 출시하여 추론 디코딩 중 원래 배치 시퀀스를 보존하기 위해 레이어 입력 순서를 수정했습니다. 이 변경은 마스크되지 않은 NextN 임베딩의 토큰 순서가 올바르게 유지되고 텐서 분할과 호환되도록 보장합니다.

github llama.cpp · 22시간 전 · 조회수 1회

llama.cpp b11301이 ggml/gguf의 정수 오버플로우 수정

llama.cpp 프로젝트는 ggml 및 gguf 구성 요소 내의 정수 오버플로우 문제를 수정한 빌드 b11301을 출시했습니다. 이 업데이트는 제로 요소 텐서를 처리할 때 잠재적 오류를 방지하기 위해 검증 로직을 개선합니다.

github llama.cpp · 22시간 전 · 조회수 3회

llama.cpp b11302는 희소 인덱서의 ThreadSanitizer 데이터 경고를 수정합니다

llama.cpp 프로젝트는 CI 파이프라인에서 ThreadSanitizer가 식별한 중대한 동시성 문제를 해결하는 빌드 b11302를 출시했습니다. 이 업데이트는 여러 CPU 스레드가 동일한 메모리 요소에 잘못 작성하여 발생한 희소 어텐션 메커니즘 내의 데이터 경고를 해결합니다.

github llama.cpp · 23시간 전 · 조회수 2회

llama.cpp b11298이 변환 및 기능 추출을 위한 dflash 지원을 추가합니다

llama.cpp 프로젝트는 dflash 형식에 대한 지원을 도입한 빌드 b11298을 출시했습니다. 이 업데이트는 모델을 이 형식으로 변환하고 후속 기능 추출 기능을 사용할 수 있게 합니다.

github llama.cpp · 1일 전 · 조회수 3회

llama.cpp b11284가 양자화된 가중치 뷰에서 OpenVINO GET_ROWS를 수정함

llama.cpp 프로젝트는 양자화된 가중치 뷰에 대한 GET_ROWS 연산을 올바르게 처리하기 위한 OpenVINO 백엔드 수정 사항을 포함한 빌드 b11284를 출시했습니다.