ggml-webgpu, Vulkan 및 NVIDIA용 F16 어댑터 토글 추가
ggml-webgpu 프로젝트는 Vulkan 및 NVIDIA GPU의 반정밀(F16) 지원을 위해 어댑터 토글을 추가했습니다. 이 업데이트는 macOS, Linux, Android, Windows 및 openEuler을 포함한 여러 플랫폼에서 호환 하드웨어의 성능을 향상시키며, ARM 및 x64 아키텍처용 특정 빌드를 제공합니다.
ggml-webgpu 프로젝트는 Vulkan 및 NVIDIA GPU의 반정밀(F16) 지원을 위해 어댑터 토글을 추가했습니다. 이 업데이트는 macOS, Linux, Android, Windows 및 openEuler을 포함한 여러 플랫폼에서 호환 하드웨어의 성능을 향상시키며, ARM 및 x64 아키텍처용 특정 빌드를 제공합니다.
llama.cpp 버전 b9731은 토큰 정렬 오버헤드를 줄이기 위해 std::partial_sort를 사용한 최적화를 도입하여 top-n 토큰 선택의 성능을 8.555ms에서 0.704ms로 개선했습니다. 이번 릴리스에는 macOS, Linux, Android, Windows 및 openEuler용 미리 빌드된 바이너리가 포함되어 있으며, 여러 아키텍처와 하드웨어 가속 옵션을 지원합니다.
llama.cpp 버전 b9730에는 Windows에서의 UTF-8 처리 수정과 ggml_fopen 및 CLI 개선이 포함되어 있습니다. 이 릴리스는 Vulkan, CUDA, OpenVINO, SYCL을 포함한 여러 아키텍처 및 하드웨어 가속 옵션에 대한 macOS, Linux, Android, Windows, openEuler용 바이너리를 제공합니다.
Rust 버전 0.0.12가 출시되었습니다. 이 초기 버전은 Rust의 초기 개발 단계의 일부이며 언어의 기반 기능을 포함합니다.
Rust 버전 0.0.13이 출시되었습니다. 이 초기 버전은 Rust의 초기 개발 단계의 일부이며 언어의 기반 기능을 포함합니다.
Rust 버전 0.0.14가 출시되었습니다. 이 초기 버전은 Rust의 초기 개발 단계의 일부이며 언어의 기반 기능을 포함하고 있습니다.
LLaMA.cpp는 macOS, Linux, Android, Windows 및 openEuler용 바이너리를 여러 아키텍처에 대해 버전 b9729로 출시했습니다. 이번 릴리스에는 CPU, Vulkan, OpenVINO, SYCL 및 ROCm 지원이 포함되며 새로운 UI 패키지도 제공됩니다. 내부 'webui' 참조가 제거되었습니다.
LLaMA.cpp 버전 b9728은 --api-key-file 구성에서 주석 줄에 대한 지원을 도입했습니다. 이번 릴리스에는 Vulkan, CUDA, OpenVINO, SYCL을 포함한 여러 아키텍처 및 하드웨어 가속 옵션과 함께 macOS, Linux, Android, Windows 및 openEuler용 사전 빌드 바이너리가 포함되어 있습니다.
llama.cpp 버전 b9726은 새로운 --agent 인자를 도입하고 중복된 webui 명명 호환성을 제거했습니다. 이번 릴리스에는 macOS, Linux, Android, Windows 및 openEuler을 위한 미리 컴파일된 바이너리가 포함되어 있으며, 여러 아키텍처와 하드웨어 가속 옵션을 지원합니다.
llama.cpp 버전 b9727은 cpp-httplib을 버전 0.48.0으로 업데이트합니다. 이번 릴리스에는 macOS, Linux, Android, Windows 및 openEuler용 바이너리가 포함되어 있으며, Vulkan, CUDA, OpenVINO 및 SYCL을 포함한 여러 아키텍처와 하드웨어 가속 옵션을 지원합니다.
Docker 프로젝트는 UI 구성 요소 빌드를 위한 지원을 추가했습니다. 이 업데이트에는 컨테이너 구성에서 기존 APP_VERSION을 사용하는 것도 포함됩니다.
llama.cpp 버전 b9724에는 빌드 수정, area() 함수의 오버플로우 방지, get_u32() 내의 정합성 검사 등 여러 가지 버그 수정과 개선 사항이 포함되어 있습니다. 이 릴리스는 macOS (arm64 및 x64), Linux (x64, arm64, s390x, Vulkan, ROCm, OpenVINO, SYCL), Android (arm64), Windows (x64, arm64, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) 및 openEuler (ACL Graph 지원이 있는 x86 및 aarch64) 에 대한 사전 빌드된 바이너리와 UI 패키지를 제공합니다.
llama.cpp 버전 b9723 은 Eagle3 를 통해 Qwen3.5 및 Qwen3.6 모델에 대한 지원을 도입했습니다. 이번 릴리스에는 하이브리드 모델을 위한 지연 경계 체크포인트 복원, API 및 명명 규칙 업데이트가 포함됩니다. macOS, Linux, Android, Windows, openEuler 플랫폼을 위한 바이너리 빌드가 사용 가능하며 CPU, Vulkan, OpenVINO, SYCL, ROCm 옵션이 있습니다.
LLaMA.cpp 버전 b9722는 서버 컨텍스트 처리에서 n_discard 값의 비바운드 문제를 수정했습니다. 이번 릴리스에는 macOS, Linux, Android, Windows 및 openEuler용 사전 컴파일된 바이너리가 포함되어 있으며 Vulkan, CUDA, OpenVINO 및 SYCL 등 다양한 아키텍처와 가속 프레임워크를 지원합니다.
llama.cpp 버전 b9718은 프롬프트 캐시 업데이트를 위한 LCP 유사성 검사를 유지하면서 슬롯 선택을 get_available_slot이라는 단일 함수로 통합했습니다. 이 릴리스에는 macOS, Linux, Android, Windows 및 openEuler에 대한 바이너리 빌드가 포함되어 있으며, 여러 아키텍처와 하드웨어 가속 옵션을 지원합니다.
llama.cpp가 b9721 버전을 출시하여 macOS, Linux, Android, Windows 및 openEuler에 대한 바이너리를 다양한 아키텍처로 제공합니다. 이 릴리스에는 CPU, Vulkan, ROCm, OpenVINO, SYCL 및 HIP 지원이 포함되어 있으며 전용 UI 패키지가 포함됩니다. KleidiAI를 사용한 Apple Silicon용 기능은 현재 비활성화되어 있습니다.
ggml-cpu 는 이제 Power10 Q8/Q4 MMA 행렬 곱셈에서 K tails 를 지원하여 K 가 kc 로 나누어떨어져야 한다는 요구사항을 제거했습니다. 이를 통해 더 많은 워크로드가 MMA 커널을 사용할 수 있게 되며 mnpack 으로의 폴백이 줄어듭니다.
v0.17.6 릴리스는 사전 승인 도구 입력 가드레일과 도구 출력을 위한 SDK 전용 사용자 지정 데이터를 추가합니다. 또한 도구 출력에 대해 엄격한 JSON 호환 계약을 강제하고 도구 이름의 불필요한 공백 경고를 억제합니다. @siddiksawani 는 이번 릴리스에서 첫 기여를 했습니다.
llama.cpp 버전 b9716은 효율적인 배치 처리를 통해 모델 성능을 향상시키는 InternVL에 대한 배치 처리 지원을 도입했습니다. 이 릴리스에는 macOS, Linux, Android, Windows 및 openEuler용 바이너리 빌드가 포함되어 있으며, Vulkan, OpenVINO, SYCL 및 ROCm을 포함한 여러 아키텍처와 하드웨어 가속 옵션을 지원합니다.
llama.cpp가 mtmd-cli에 배치 처리 지원과 비디오 테스트를 추가한 버전 b9713을 출시했습니다. 이번 릴리스에는 macOS, Linux, Android, Windows 및 openEuler용 바이너리가 포함되어 있으며, Vulkan, CUDA, OpenVINO, SYCL을 포함한 다양한 아키텍처와 하드웨어 가속 옵션을 지원합니다.