github llama.cpp · 11일 전

LLaMA.cpp b9739 릴리스, Win OpenCL Adreno ARM64 지원 추가

LLaMA.cpp 버전 b9739는 OpenCL Adreno를 통해 Windows ARM64 지원을 추가했습니다. 이번 릴리스에는 Vulkan, CUDA, OpenVINO, SYCL을 포함한 다양한 아키텍처와 API에 걸쳐 macOS, Linux, Android, Windows, openEuler용 바이너리가 포함되어 있습니다.

github llama.cpp · 11일 전

llama.cpp b9738 릴리스: CORS 인증 헤더 전달 수정 및 새로운 바이너리 빌드

llama.cpp 버전 b9738은 인증 헤더를 전달하지 않도록 CORS 프록시를 수정했습니다. 이번 릴리스에는 Vulkan, CUDA, OpenVINO, SYCL을 포함한 여러 아키텍처와 하드웨어 가속 옵션에 대한 macOS, Linux, Android, Windows, openEuler용 바이너리 빌드가 포함되어 있습니다.

github llama.cpp · 11일 전

ggml이 파티션 평활화를 통해 AMX 최적화

ggml 프로젝트는 모든 스레드가 양자화에 참여하도록 n_batch * M에 대한 파티션을 평활화하여 AMX 성능을 최적화했습니다. 이 변경은 CPU 및 GPU 플랫폼에서 다양한 모델과 하드웨어 구성에 걸쳐 최대 1.47배의 속도 향상을 가져왔으며, 추론 시간에서 일관된 개선 결과를 보여줍니다.

github llama.cpp · 11일 전

GLM-5.2 DSA 인덱서 수정: 텐서가 필요하지 않음으로 표시됨

GLM-5.2 모델의 DSA 인덱서가 모든 레이어에 잘못 로드되어 누락된 텐서로 인해 실패했습니다. 이번 업데이트는 인덱서 텐서를 TENSOR_NOT_REQUIRED로 표시하여, 인덱서가 없는 레이어가 nullptr로 로드되도록 하고 전체 MLA 어텐션을 가능하게 합니다. 균일한 인덱싱을 사용하는 DeepSeek-V3.2는 영향을 받지 않습니다.

github llama.cpp · 11일 전

s390x용 Docker 사전 빌드 웹 UI

Docker에서 s390x 아키텍처를 위한 사전 빌드된 웹 UI를 추가하기 위한 풀 리퀘스트가 제출되었습니다. 이 변경 사항은 현재 릴리스 대기 중이며 아직 공개되지 않았습니다.

github llama.cpp · 12일 전

LLaMA.cpp b9732 릴리스: 새로운 바이너리 및 업데이트

LLaMA.cpp는 macOS, Linux, Android, Windows 및 openEuler용 업데이트된 바이너리가 포함된 버전 b9732를 출시했습니다. 이번 릴리스에는 리팩토링된 자식-투-라우터 통신, 웨이크업 처리 수정, 개선된 update_status() 및 문서가 포함됩니다. 새로운 빌드는 Vulkan, ROCm, OpenVINO, SYCL 및 여러 아키텍처에서 CUDA 12/13을 지원합니다.

github llama.cpp · 12일 전

ggml-webgpu, Vulkan 및 NVIDIA용 F16 어댑터 토글 추가

ggml-webgpu 프로젝트는 Vulkan 및 NVIDIA GPU의 반정밀(F16) 지원을 위해 어댑터 토글을 추가했습니다. 이 업데이트는 macOS, Linux, Android, Windows 및 openEuler을 포함한 여러 플랫폼에서 호환 하드웨어의 성능을 향상시키며, ARM 및 x64 아키텍처용 특정 빌드를 제공합니다.

github llama.cpp · 12일 전

llama.cpp b9731 릴리스: 성능 최적화 및 크로스 플랫폼 바이너리

llama.cpp 버전 b9731은 토큰 정렬 오버헤드를 줄이기 위해 std::partial_sort를 사용한 최적화를 도입하여 top-n 토큰 선택의 성능을 8.555ms에서 0.704ms로 개선했습니다. 이번 릴리스에는 macOS, Linux, Android, Windows 및 openEuler용 미리 빌드된 바이너리가 포함되어 있으며, 여러 아키텍처와 하드웨어 가속 옵션을 지원합니다.

github llama.cpp · 12일 전

llama.cpp release b9730: fixes and new binaries

llama.cpp 버전 b9730에는 Windows에서의 UTF-8 처리 수정과 ggml_fopen 및 CLI 개선이 포함되어 있습니다. 이 릴리스는 Vulkan, CUDA, OpenVINO, SYCL을 포함한 여러 아키텍처 및 하드웨어 가속 옵션에 대한 macOS, Linux, Android, Windows, openEuler용 바이너리를 제공합니다.

github llama.cpp · 12일 전

LLaMA.cpp b9729 릴리스: 새로운 바이너리 및 플랫폼 지원

LLaMA.cpp는 macOS, Linux, Android, Windows 및 openEuler용 바이너리를 여러 아키텍처에 대해 버전 b9729로 출시했습니다. 이번 릴리스에는 CPU, Vulkan, OpenVINO, SYCL 및 ROCm 지원이 포함되며 새로운 UI 패키지도 제공됩니다. 내부 'webui' 참조가 제거되었습니다.

github llama.cpp · 12일 전

LLaMA.cpp b9728 릴리스, 주석 줄 지원 및 다중 플랫폼 바이너리 추가

LLaMA.cpp 버전 b9728은 --api-key-file 구성에서 주석 줄에 대한 지원을 도입했습니다. 이번 릴리스에는 Vulkan, CUDA, OpenVINO, SYCL을 포함한 여러 아키텍처 및 하드웨어 가속 옵션과 함께 macOS, Linux, Android, Windows 및 openEuler용 사전 빌드 바이너리가 포함되어 있습니다.

github llama.cpp · 12일 전

llama.cpp 릴리스 b9726이 --agent 인자와 새로운 플랫폼 바이너리 추가

llama.cpp 버전 b9726은 새로운 --agent 인자를 도입하고 중복된 webui 명명 호환성을 제거했습니다. 이번 릴리스에는 macOS, Linux, Android, Windows 및 openEuler을 위한 미리 컴파일된 바이너리가 포함되어 있으며, 여러 아키텍처와 하드웨어 가속 옵션을 지원합니다.

github llama.cpp · 12일 전

llama.cpp b9727 릴리스: cpp-httplib 0.48.0으로 업데이트

llama.cpp 버전 b9727은 cpp-httplib을 버전 0.48.0으로 업데이트합니다. 이번 릴리스에는 macOS, Linux, Android, Windows 및 openEuler용 바이너리가 포함되어 있으며, Vulkan, CUDA, OpenVINO 및 SYCL을 포함한 여러 아키텍처와 하드웨어 가속 옵션을 지원합니다.

github llama.cpp · 12일 전

Docker: UI 빌드하기 (#24794)

Docker 프로젝트는 UI 구성 요소 빌드를 위한 지원을 추가했습니다. 이 업데이트에는 컨테이너 구성에서 기존 APP_VERSION을 사용하는 것도 포함됩니다.

github llama.cpp · 12일 전

llama.cpp, 버그 수정 및 크로스 플랫폼 바이너리가 포함된 b9724 출시

llama.cpp 버전 b9724에는 빌드 수정, area() 함수의 오버플로우 방지, get_u32() 내의 정합성 검사 등 여러 가지 버그 수정과 개선 사항이 포함되어 있습니다. 이 릴리스는 macOS (arm64 및 x64), Linux (x64, arm64, s390x, Vulkan, ROCm, OpenVINO, SYCL), Android (arm64), Windows (x64, arm64, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) 및 openEuler (ACL Graph 지원이 있는 x86 및 aarch64) 에 대한 사전 빌드된 바이너리와 UI 패키지를 제공합니다.

github llama.cpp · 12일 전

llama.cpp b9723 릴리스, Qwen3.5 및 Qwen3.6 Eagle3 지원 추가

llama.cpp 버전 b9723 은 Eagle3 를 통해 Qwen3.5 및 Qwen3.6 모델에 대한 지원을 도입했습니다. 이번 릴리스에는 하이브리드 모델을 위한 지연 경계 체크포인트 복원, API 및 명명 규칙 업데이트가 포함됩니다. macOS, Linux, Android, Windows, openEuler 플랫폼을 위한 바이너리 빌드가 사용 가능하며 CPU, Vulkan, OpenVINO, SYCL, ROCm 옵션이 있습니다.

github llama.cpp · 12일 전

LLaMA.cpp b9722 출시: 수정 사항 및 크로스 플랫폼 바이너리

LLaMA.cpp 버전 b9722는 서버 컨텍스트 처리에서 n_discard 값의 비바운드 문제를 수정했습니다. 이번 릴리스에는 macOS, Linux, Android, Windows 및 openEuler용 사전 컴파일된 바이너리가 포함되어 있으며 Vulkan, CUDA, OpenVINO 및 SYCL 등 다양한 아키텍처와 가속 프레임워크를 지원합니다.

github llama.cpp · 12일 전

llama.cpp 릴리스 b9718: 슬롯 선택 통합 및 새로운 바이너리 빌드

llama.cpp 버전 b9718은 프롬프트 캐시 업데이트를 위한 LCP 유사성 검사를 유지하면서 슬롯 선택을 get_available_slot이라는 단일 함수로 통합했습니다. 이 릴리스에는 macOS, Linux, Android, Windows 및 openEuler에 대한 바이너리 빌드가 포함되어 있으며, 여러 아키텍처와 하드웨어 가속 옵션을 지원합니다.

github llama.cpp · 12일 전

llama.cpp b9721 릴리스가 여러 플랫폼에서 사용 가능

llama.cpp가 b9721 버전을 출시하여 macOS, Linux, Android, Windows 및 openEuler에 대한 바이너리를 다양한 아키텍처로 제공합니다. 이 릴리스에는 CPU, Vulkan, ROCm, OpenVINO, SYCL 및 HIP 지원이 포함되어 있으며 전용 UI 패키지가 포함됩니다. KleidiAI를 사용한 Apple Silicon용 기능은 현재 비활성화되어 있습니다.

github llama.cpp · 12일 전

Power10 MMA Q8/Q4 에 대한 ggml-cpu 의 K tails 지원 추가

ggml-cpu 는 이제 Power10 Q8/Q4 MMA 행렬 곱셈에서 K tails 를 지원하여 K 가 kc 로 나누어떨어져야 한다는 요구사항을 제거했습니다. 이를 통해 더 많은 워크로드가 MMA 커널을 사용할 수 있게 되며 mnpack 으로의 폴백이 줄어듭니다.