github llama.cpp · 1시간 전 · inference

llama.cpp, Apple M3 Max, M5 및 M5 Pro용 fa-vec 튜닝 추가

번역 English → 한국어

llama.cpp 프로젝트는 Metal 성능을 개선하기 위해 Apple M3 Max, M5 및 M5 Pro GPU용 빠른 주의 벡터(fa-vec) 튜닝 레코드를 추가했습니다.

이러한 업데이트는 Metal 가속 기능을 최신 Apple silicon 아키텍처로 확장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp 프로젝트는 Nemotron3.5 모델에 대한 DSpark 지원을 도입한 빌드 b10665를 출시했습니다.

llama.cpp 프로젝트는 하이퍼 연결, 게이트드 델타 넷, 전문가 혼합(MoE), PLE n-gram 해시 임베딩을 포함한 특정 구성 요소를 구현하여 Qwen3.8-Flash-Next (qwen4exp) 모델 아키텍처에 대한 지원을 추가했습니다.

llama.cpp 프로젝트는 모델 로더에 TENSOR_READ_LAZY 기능을 도입한 빌드 b10653을 출시했습니다. 이 변경에는 TENSOR_GET_ROW_LAZY 함수의 추가와 해당하는 --tensor-read-lazy 명령줄 플래그가 포함됩니다.

llama.cpp 프로젝트는 Vulkan 백엔드 내에서 Deepseek V4 연산을 활성화하기 위해 LIGHTNING_INDEXer 연산에 대한 지원을 도입한 빌드 b10655을 출시했습니다.

llama.cpp 프로젝트는 빌드 b10639를 출시했으며, 여기에는 이전에 워프타일이 워프 크기가 64 이하라고 가정했던 Vulkan 백엔드에 대한 수정이 포함되어 있습니다. 이 변경은 더 큰 워프로 인한 문제를 우회하기 위해 워프 크기를 제한합니다.