github llama.cpp · 1시간 전 · inference

llama.cpp b10636, 기본값으로 npm UI 빌드 비활성화 및 CI 정리

번역 English → 한국어

llama.cpp 프로젝트는 웹 인터페이스 빌드 시 기본 동작을 변경하는 버전 b10636을 출시했습니다. npm 기반 UI 빌드는 이제 기본값으로 비활성화되었으며(LLAMA_BUILD_UI=OFF), 대신 로컬 소스 또는 사전 빌드 다운로드에서 UI가 임베딩됩니다.

CI 작업은 더 이상 npm으로 UI를 빌드하지 않으며, 서버 정제는 Node.js를 더 이상 필요로 하지 않습니다.
ui-build 아티팩트가 llama-ui.zip으로 이름 변경되었으며 릴리스 작업에서 재사용됩니다.
KleidiAI가 포함된 macOS Apple Silicon 빌드가 비활성화되었습니다.
Windows arm64 CUDA 13 지원은 미리보기로 표시되었습니다.

이 릴리스는 CPU, Vulkan, ROCm, OpenVINO, SYCL 및 CUDA를 포함한 다양한 하드웨어 백엔드에 대해 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b10635이 sm_60에서 MoE에 대한 mmq를 차단 해제

llama.cpp 프로젝트는 CUDA 지원에 대한 특정 업데이트를 포함하는 버전 b10635를 출시했습니다. 주요 변경 사항은 계산 능력 6.0 (sm_60) GPU에서 Mixture of Experts (MoE) 아키텍처에 대한 혼합 정밀도 행렬 곱셈(mmq)의 차트를 해제하는 것입니다.

github llama.cpp · 2일 전 · 조회수 11회

llama.cpp b10604, Deepseek 4 DSV4 형식 및 macOS/iOS 바이너리 지원 추가

llama.cpp 프로젝트는 Deepseek 4 (DSV4) 모델 형식에 대한 지원과 macOS 및 iOS용 새로운 사전 컴파일된 바이너리를 도입한 버전 b10604를 출시했습니다.

github llama.cpp · 3일 전 · 조회수 5회

llama.cpp b10598 pillow-accurate 리사이즈 알고리즘을 사용하고 모든 모델의 resize_algo를 수정

llama.cpp 프로젝트는 mtmd 모듈에 pillow-accurate 리사이즈 알고리즘을 사용하고 모든 모델의 resize_algo를 수정하는 빌드 b10598을 출시했습니다. 이 릴리스에는 속도 최적화도 포함되어 있습니다.

github llama.cpp · 3일 전 · 조회수 5회

llama.cpp b10593이 DeepseekV4 롤백 및 모델 로딩 수정

llama.cpp 프로젝트는 DeepseekV4 모델 아키텍처와 관련된 중대한 문제를 해결한 빌드 b10593을 출시했습니다. 이 업데이트는 다중 시퀀스 처리 중에 발생한 롤백 실패를 구체적으로 해결합니다.

github llama.cpp · 4일 전 · 조회수 4회

llama.cpp b10584가 서버 500 오류를 방지하기 위해 초안 컨텍스트 크기를 수정

llama.cpp 프로젝트는 빌드 b10584를 출시하여 초안 컨텍스트 크기가 대상 컨텍스트와 일치하지 않아 서버 요청이 500 오류로 실패하는 중대한 문제를 해결했습니다.