github llama.cpp · 방금 · inference

llama.cpp b10752, xcframework용 metallib 빌드 지원 추가

번역 English → 한국어

llama.cpp 프로젝트가 iOS XCFramework에 대한 metallib 빌드 지원을 도입한 버전 b10752를 출시했습니다. 이 업데이트를 통해 개발자는 Metal 백엔드를 사용하여 라이브러리를 iOS 애플리케이션에 통합할 수 있습니다.

macOS Apple Silicon (arm64) 바이너리가 제공됩니다.
macOS Intel (x64) 바이너리가 제공됩니다.
Ubuntu 빌드에는 CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL 변형이 포함됩니다.
Windows 릴리스는 CPU, Vulkan, OpenCL Adreno, CUDA 12/13, OpenVINO, SYCL 및 ROCm 7.14를 지원합니다.
Android arm64 (CPU) 바이너리가 포함되어 있습니다.

이 릴리스는 광범위한 플랫폼과 하드웨어 가속기를 위한 사전 컴파일된 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b10751, CUDA용 MoE 가중 전문가 축적을 통합

llama.cpp 프로젝트가 빌드 b10751을 출시했으며, 이는 CUDA에서 MoE(Mixture of Experts)의 가중 전문가 축적에 대한 통합 커널을 도입합니다. 이 최적화는 이전의 두 개의 물리적 커널을 실행하던 기본값을 단일 가중 축적 커널로 대체하여 중간 전역 메모리 트래픽을 줄입니다.

github llama.cpp · 4시간 전 · 조회수 1회

llama.cpp b10750, KV 캐시 n-gram 조회를 최적화하여 처리량 4.9% 향상

llama.cpp 프로젝트는 시퀀스 위치 인덱싱과 n-gram 히스토리 조회를 개선하기 위해 키-밸류 셀 관리를 리팩토링한 빌드 b10750을 출시했습니다.

github llama.cpp · 5시간 전 · 조회수 1회

llama.cpp b10742, A18 Pro용 fa-vec 튜닝 추가

llama.cpp 프로젝트는 MacBook Neo에 탑재된 Apple A18 Pro 칩을 위해 특별히 빠른 벡터 (fa-vec) 튜닝을 추가하는 새로운 기능을 포함하는 버전 b10742를 출시했습니다.

github llama.cpp · 8시간 전 · 조회수 1회

llama.cpp b10738이 SYCL용 호스트 고정 메모리 제한 추가

llama.cpp 프로젝트는 macOS, Linux, Windows, Android 및 openEuler에 대한 CPU, GPU 및 다양한 가속기 백엔드용 바이너리를 제공하는 버전 b10738을 출시했습니다.

github llama.cpp · 8시간 전 · 조회수 1회

llama.cpp b10739, M2 Max용 fa-vec 튜닝 추가

llama.cpp 프로젝트가 Apple의 M2 Max 하드웨어를 위한 특정 성능 최적화를 포함한 버전 b10739를 출시했습니다. 이 업데이트는 M2 Max의 30개 GPU 코어에 맞춰진 빠른 어텐션 벡터(fa-vec) 튜닝을 도입합니다.