github llama.cpp · 3시간 전 · inference

llama.cpp b10822, CMake로 UI 자산 임베드 및 크로스 컴파일 단순화

번역 English → 한국어

llama.cpp 프로젝트는 빌드 시스템이 CMake를 사용하여 사용자 인터페이스 자산을 직접 임베드하도록 수정한 빌드 b10822를 출시했습니다. 이 변경으로 빌드 시간 C++ 헬퍼와 외부 gzip 종속성이 필요 없어져 크로스 컴파일 프로세스가 단순화됩니다.

생성된 C++ 코드는 가독성을 유지하면서 완전히 임베드된 UI 자산을 보존하기 위해 템플릿에 유지됩니다.
macOS (Apple Silicon 및 Intel), iOS, Linux (Ubuntu with CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm 10.0, OpenVINO, SYCL) 및 openEuler용 사전 빌드된 바이너리가 제공됩니다.
이 릴리스에서는 KleidiAI가 포함된 macOS Apple Silicon 빌드가 비활성화되었습니다.

이 업데이트는 개발자를 위한 빌드 인프라를 간소화하면서 최신 llama.cpp 버전에 대한 포괄적인 플랫폼 지원을 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

llama.cpp 프로젝트가 Apple Silicon 장치용 Metal 백엔드 업데이트를 포함한 버전 b10816을 출시했습니다. 이번 릴리스는 M3 칩 아키텍처에 대한 나머지 fast-vector 튜닝 추가에 중점을 둡니다.

llama.cpp 프로젝트는 레이어당 전문가 수가 다른 모델을 지원하기 위해 모델 로더에 변경 사항을 포함하는 빌드 b10796을 출시했습니다.

llama.cpp 프로젝트가 버전 b10791을 출시하여 양자화된 언어 모델 헤드와 디코딩 GEMV 연산에 대한 상당한 OpenCL 최적화를 도입했습니다. 이 업데이트에는 추론 디코딩과 멀티 토큰 예측에 관련된 미디엄 배치 GEMM 개선 사항도 포함되어 있습니다.

ggml-org 프로젝트가 llama.cpp 버전 b10774를 출시했으며, 여기에는 파인튜닝 모듈의 KV 캐시 누락 문제에 대한 수정이 포함되어 있습니다.

llama.cpp 프로젝트는 `preserve_reasoning` 채팅 템플릿 키워드 인수의 기본 동작을 변경하는 빌드 b10763을 출시했습니다. 서버는 이제 이 kwarg의 유효 상태를 로깅하고 지원되는 템플릿에서 기본적으로 활성화된 경우 경고를 발행합니다.