github llama.cpp · 11일 전

LLaMA.cpp b9744 릴리스: 새로운 바이너리와 기능

LLaMA.cpp가 macOS, Linux, Android, Windows 및 openEuler용 업데이트된 바이너리를 포함하는 버전 b9744를 출시했습니다. 이번 릴리스에는 Vulkan, CUDA, OpenVINO, SYCL, ROCm과 같은 여러 아키텍처와 하드웨어 가속기에 대한 지원이 포함되어 있습니다. 또한 사용자 인터페이스 접근을 위한 UI 패키지도 제공됩니다.

github llama.cpp · 11일 전

llama.cpp b9742 릴리스: SSM-conv 가중치에 패딩 스트라이드 업데이트

llama.cpp 버전 b9742는 신경망 연산의 효율성을 개선하기 위해 SSM-conv 가중치에 패딩 스트라이드를 도입했습니다. 이번 릴리스에는 Vulkan, CUDA, OpenVINO, SYCL을 포함한 다양한 아키텍처와 API를 지원하며 macOS, Linux, Android, Windows, openEuler용 바이너리가 포함되어 있습니다.

github llama.cpp · 11일 전

llama.cpp b9743 릴리스는 새로운 바이너리와 GPU 지원을 추가합니다

llama.cpp 버전 b9743은 macOS, Linux, Android, Windows 및 openEuler에서 여러 아키텍처를 위한 새로운 바이너리를 도입합니다. 이번 릴리스에는 Vulkan, CUDA 12.4 및 13.3, OpenVINO, SYCL, ROCm에 대한 지원이 포함되며, JSON 스키마를 통한 구문 정렬로 업데이트된 UI와 개선된 파서 간격 규칙을 제공합니다.

lab Claude Code Releases · 11일 전

v2.1.185에서 스트림 정지 힌트 업데이트

스트림 정지 힌트가 이제 "API 응답 대기 중 · …초 후 재시도"를 표시하며, 이전 메시지 및 지연 시간을 대체하고 20초의 무음 상태 후에 활성화됩니다.

github llama.cpp · 11일 전

llama.cpp b9741 릴리스: 새로운 바이너리 및 지원 추가

llama.cpp 버전 b9741은 여러 아키텍처에서 macOS, Linux, Android, Windows, openEuler용 새로운 바이너리를 도입합니다. 이번 릴리스에는 Vulkan, CUDA 12.4 및 13.3, OpenVINO, SYCL, ROCm에 대한 지원이 포함되며 iOS와 Ubuntu의 버전도 업데이트되었습니다.

github llama.cpp · 11일 전

Windows에서 test-args-parser의 랜덤 실패 수정

패치는 argc가 일치할 때만 argv 오버라이드를 적용하여 프로그램적 인수의 덮어쓰기를 방지함으로써 Windows에서 test-args-parser의 랜덤 실패를 해결합니다. 이는 실제 바이너리에 대한 UTF-8 처리를 유지하면서 OpenVINO Windows 워크플로우의 fastfail 어설션을 수정합니다.

github llama.cpp · 11일 전

LLaMA.cpp b9739 릴리스, Win OpenCL Adreno ARM64 지원 추가

LLaMA.cpp 버전 b9739는 OpenCL Adreno를 통해 Windows ARM64 지원을 추가했습니다. 이번 릴리스에는 Vulkan, CUDA, OpenVINO, SYCL을 포함한 다양한 아키텍처와 API에 걸쳐 macOS, Linux, Android, Windows, openEuler용 바이너리가 포함되어 있습니다.

github llama.cpp · 11일 전

llama.cpp b9738 릴리스: CORS 인증 헤더 전달 수정 및 새로운 바이너리 빌드

llama.cpp 버전 b9738은 인증 헤더를 전달하지 않도록 CORS 프록시를 수정했습니다. 이번 릴리스에는 Vulkan, CUDA, OpenVINO, SYCL을 포함한 여러 아키텍처와 하드웨어 가속 옵션에 대한 macOS, Linux, Android, Windows, openEuler용 바이너리 빌드가 포함되어 있습니다.

github llama.cpp · 11일 전

ggml이 파티션 평활화를 통해 AMX 최적화

ggml 프로젝트는 모든 스레드가 양자화에 참여하도록 n_batch * M에 대한 파티션을 평활화하여 AMX 성능을 최적화했습니다. 이 변경은 CPU 및 GPU 플랫폼에서 다양한 모델과 하드웨어 구성에 걸쳐 최대 1.47배의 속도 향상을 가져왔으며, 추론 시간에서 일관된 개선 결과를 보여줍니다.

github llama.cpp · 11일 전

GLM-5.2 DSA 인덱서 수정: 텐서가 필요하지 않음으로 표시됨

GLM-5.2 모델의 DSA 인덱서가 모든 레이어에 잘못 로드되어 누락된 텐서로 인해 실패했습니다. 이번 업데이트는 인덱서 텐서를 TENSOR_NOT_REQUIRED로 표시하여, 인덱서가 없는 레이어가 nullptr로 로드되도록 하고 전체 MLA 어텐션을 가능하게 합니다. 균일한 인덱싱을 사용하는 DeepSeek-V3.2는 영향을 받지 않습니다.

github llama.cpp · 11일 전

s390x용 Docker 사전 빌드 웹 UI

Docker에서 s390x 아키텍처를 위한 사전 빌드된 웹 UI를 추가하기 위한 풀 리퀘스트가 제출되었습니다. 이 변경 사항은 현재 릴리스 대기 중이며 아직 공개되지 않았습니다.

github llama.cpp · 12일 전

LLaMA.cpp b9732 릴리스: 새로운 바이너리 및 업데이트

LLaMA.cpp는 macOS, Linux, Android, Windows 및 openEuler용 업데이트된 바이너리가 포함된 버전 b9732를 출시했습니다. 이번 릴리스에는 리팩토링된 자식-투-라우터 통신, 웨이크업 처리 수정, 개선된 update_status() 및 문서가 포함됩니다. 새로운 빌드는 Vulkan, ROCm, OpenVINO, SYCL 및 여러 아키텍처에서 CUDA 12/13을 지원합니다.

github llama.cpp · 12일 전

ggml-webgpu, Vulkan 및 NVIDIA용 F16 어댑터 토글 추가

ggml-webgpu 프로젝트는 Vulkan 및 NVIDIA GPU의 반정밀(F16) 지원을 위해 어댑터 토글을 추가했습니다. 이 업데이트는 macOS, Linux, Android, Windows 및 openEuler을 포함한 여러 플랫폼에서 호환 하드웨어의 성능을 향상시키며, ARM 및 x64 아키텍처용 특정 빌드를 제공합니다.

github llama.cpp · 12일 전

llama.cpp b9731 릴리스: 성능 최적화 및 크로스 플랫폼 바이너리

llama.cpp 버전 b9731은 토큰 정렬 오버헤드를 줄이기 위해 std::partial_sort를 사용한 최적화를 도입하여 top-n 토큰 선택의 성능을 8.555ms에서 0.704ms로 개선했습니다. 이번 릴리스에는 macOS, Linux, Android, Windows 및 openEuler용 미리 빌드된 바이너리가 포함되어 있으며, 여러 아키텍처와 하드웨어 가속 옵션을 지원합니다.

github llama.cpp · 12일 전

llama.cpp release b9730: fixes and new binaries

llama.cpp 버전 b9730에는 Windows에서의 UTF-8 처리 수정과 ggml_fopen 및 CLI 개선이 포함되어 있습니다. 이 릴리스는 Vulkan, CUDA, OpenVINO, SYCL을 포함한 여러 아키텍처 및 하드웨어 가속 옵션에 대한 macOS, Linux, Android, Windows, openEuler용 바이너리를 제공합니다.

github llama.cpp · 12일 전

LLaMA.cpp b9729 릴리스: 새로운 바이너리 및 플랫폼 지원

LLaMA.cpp는 macOS, Linux, Android, Windows 및 openEuler용 바이너리를 여러 아키텍처에 대해 버전 b9729로 출시했습니다. 이번 릴리스에는 CPU, Vulkan, OpenVINO, SYCL 및 ROCm 지원이 포함되며 새로운 UI 패키지도 제공됩니다. 내부 'webui' 참조가 제거되었습니다.

github llama.cpp · 12일 전

LLaMA.cpp b9728 릴리스, 주석 줄 지원 및 다중 플랫폼 바이너리 추가

LLaMA.cpp 버전 b9728은 --api-key-file 구성에서 주석 줄에 대한 지원을 도입했습니다. 이번 릴리스에는 Vulkan, CUDA, OpenVINO, SYCL을 포함한 여러 아키텍처 및 하드웨어 가속 옵션과 함께 macOS, Linux, Android, Windows 및 openEuler용 사전 빌드 바이너리가 포함되어 있습니다.

github llama.cpp · 12일 전

llama.cpp 릴리스 b9726이 --agent 인자와 새로운 플랫폼 바이너리 추가

llama.cpp 버전 b9726은 새로운 --agent 인자를 도입하고 중복된 webui 명명 호환성을 제거했습니다. 이번 릴리스에는 macOS, Linux, Android, Windows 및 openEuler을 위한 미리 컴파일된 바이너리가 포함되어 있으며, 여러 아키텍처와 하드웨어 가속 옵션을 지원합니다.

github llama.cpp · 12일 전

llama.cpp b9727 릴리스: cpp-httplib 0.48.0으로 업데이트

llama.cpp 버전 b9727은 cpp-httplib을 버전 0.48.0으로 업데이트합니다. 이번 릴리스에는 macOS, Linux, Android, Windows 및 openEuler용 바이너리가 포함되어 있으며, Vulkan, CUDA, OpenVINO 및 SYCL을 포함한 여러 아키텍처와 하드웨어 가속 옵션을 지원합니다.

github llama.cpp · 12일 전

Docker: UI 빌드하기 (#24794)

Docker 프로젝트는 UI 구성 요소 빌드를 위한 지원을 추가했습니다. 이 업데이트에는 컨테이너 구성에서 기존 APP_VERSION을 사용하는 것도 포함됩니다.