github llama.cpp · 방금 · inference

llama.cpp b10677 Vulkan 뷰-얼리아스 의존성 버그 수정

번역 English → 한국어

llama.cpp b10677 릴리스는 누락된 뷰-얼리아스 의존성으로 인해 그래프 최적화 노드가 노드를 잘못 재배열하는 Vulkan 백엔드의 치명적인 버그를 해결합니다.

수정은 `is_src_of`가 하나의 텐서의 두 뷰를 종속적으로 올바르게 처리하도록 보장하여, 탐욕 디코딩과 추론 디코딩 중 침묵 오류를 방지합니다.
NONE, RESHAPE, TRANSPOSE, VIEW 또는 PERMUTE와 같은 연산을 가진 노드는 더 이상 얼리아스 의존성으로 취급되지 않으며, 정확성을 해치지 않고 최적화기의 자유도를 복원합니다.
코드는 람다 매개변수를 const로 만들고 `is_src_of`에서 `is_empty`를 캡처하여 컴파일되며, 비const 포인터의 가시성 문제를 해결합니다.
이 변경은 AMD 및 NVIDIA Vulkan 하드웨어에서 Qwen3.8과 같은 모델의 재귀적 상태 문제를 구체적으로 수정하며, CUDA는 영향을 받지 않습니다.

이 릴리스는 이슈 #27805를 해결하고 CPU, GPU 및 다양한 가속기 백엔드에 대해 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

관련 기사

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp b10676이 ggml 및 Metal에서 여러 배치에 대한 conv_transpose_2d 수정

llama.cpp 릴리스 b10676은 첫 번째 배치만 계산되고 이후 배치가 0으로 남아 있는 `conv_transpose_2d`의 버그를 수정했습니다. 이 수정은 핵심 ggml 라이브러리와 Metal 백엔드 구현 모두에 적용됩니다.

github llama.cpp · 4시간 전 · 조회수 1회

llama.cpp b10673, Apple M4용 fa-vec 튜닝 추가

llama.cpp 프로젝트가 Apple M4 하드웨어를 위한 특정 성능 최적화를 포함하는 빌드 b10673을 출시했습니다. 이 업데이트는 Metal 백엔드 효율성을 개선하기 위해 ggml-metal-tuning 모듈에 fa_vec_tuned_table 레코드를 도입합니다.

github llama.cpp · 5시간 전 · 조회수 2회

llama.cpp b10670, Xe2(BMG)에서 양자화된 KV 디코드를 TILE로 라우팅

llama.cpp 프로젝트는 Intel의 Xe2 아키텍처를 위한 특정 최적화를 포함하는 버전 b10670을 출시했습니다. 이 업데이트는 양자화된 키-값(KV) 디코드 작업을 BMG 하드웨어에 대해 TILE 백엔드 전용으로 라우팅하며, 다른 아키텍처에서는 검증될 때까지 VEC 백엔드를 유지합니다.

github llama.cpp · 6시간 전 · 조회수 2회

llama.cpp b10672는 Whisper.cpp 지원, Qwen3.5 NPU 활성화 및 OpenVINO 2026.3.1 업데이트를 추가합니다

llama.cpp 프로젝트가 빌드 b10672를 출시했으며, 이는 OpenVINO 백엔드를 버전 2026.3.1로 업데이트하고 NPU에서 Whisper.cpp 모델에 대한 지원을 추가합니다.

github llama.cpp · 7시간 전 · 조회수 1회

llama.cpp, Apple M3 Max, M5 및 M5 Pro용 fa-vec 튜닝 추가

llama.cpp 프로젝트는 Metal 성능을 개선하기 위해 Apple M3 Max, M5 및 M5 Pro GPU용 빠른 주의 벡터(fa-vec) 튜닝 레코드를 추가했습니다.