github llama.cpp · 17시간 전 · inference

llama.cpp b11310이 짧은 행에 대해 iq4_nl 역양자화 커널을 보호합니다

번역 English → 한국어

llama.cpp 프로젝트는 CUDA 백엔드의 IQ4_NL 역양자화 로직에 대한 수정 사항을 포함하는 버전 b11310을 출시했습니다. 이 업데이트는 QK_K보다 짧은 블록을 처리할 때 스레드가 행의 끝을 넘어 읽고 쓸 수 있는 메모리 안전 문제를 해결합니다.

행 길이에 시작하거나 그 이후에 시작하는 하위 블록을 건너뛰어 짧은 행에 대해 iq4_nl 역양자화 행 커널을 보호합니다.
CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL 및 Snapdragon 백엔드에 대해 macOS (Apple Silicon 및 Intel), Linux, Windows, Android 및 openEuler용 사전 빌드된 바이너리를 제공합니다.

이 수정 사항은 CUDA 장치에서 IQ4_NL 양자화된 모델로 추론하는 동안 잠재적인 경계 밖 메모리 접근을 방지합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

RAG에서 텍스트 대신 LLM 네이티브 잠재 메모리 검색 제안

Hugging Face에서의 논의는 RAG 시스템의 기존 텍스트 검색을 LLM 네이티브 잠재 표현으로 대체할 것을 제안합니다. 이 아이디어는 인덱싱 중에 문서를 모델 내부 상태로 인코딩하고 추론을 위해 해당 상태를 검색하여 검색된 텍스트를 다시 처리하는 비용을 우회할 수 있습니다.

github llama.cpp · 17시간 전 · 조회수 4회

llama.cpp b11309, 안전한 scatter 모드로 Hexagon ALLREDUCE 최적화

llama.cpp 프로젝트는 Hexagon 백엔드를 위한 핵심 최적화를 포함하는 버전 b11309를 출시했습니다. 이 업데이트는 Qualcomm Snapdragon 장치에서 성능과 안정성을 개선하기 위해 ALLREDUCE 작업에 안전한 scatter 모드 지원을 추가합니다.

github llama.cpp · 20시간 전 · 조회수 1회

llama.cpp b11307, 추론 디코딩을 위해 배치 순서 유지

llama.cpp 프로젝트는 빌드 b11307을 출시하여 추론 디코딩 중 원래 배치 시퀀스를 보존하기 위해 레이어 입력 순서를 수정했습니다. 이 변경은 마스크되지 않은 NextN 임베딩의 토큰 순서가 올바르게 유지되고 텐서 분할과 호환되도록 보장합니다.

github llama.cpp · 21시간 전 · 조회수 7회

llama.cpp b11306는 causal_attn 토글로 그래프 재할당 중단 수정

llama.cpp 프로젝트가 디코딩 중 그래프 모양 변경으로 인한 충돌을 해결하는 빌드 b11306를 출시했습니다. 이 업데이트는 특정 스케줄링 제약 하에서 재할당 실패를 방지하기 위해 `causal_attn` 플래그의 처리 방식을 수정합니다.

github llama.cpp · 22시간 전 · 조회수 1회

llama.cpp b11301이 ggml/gguf의 정수 오버플로우 수정

llama.cpp 프로젝트는 ggml 및 gguf 구성 요소 내의 정수 오버플로우 문제를 수정한 빌드 b11301을 출시했습니다. 이 업데이트는 제로 요소 텐서를 처리할 때 잠재적 오류를 방지하기 위해 검증 로직을 개선합니다.