github llama.cpp · 방금 · inference

llama.cpp b10889 릴리스는 인덱서에 대한 V 캐시 할당을 피함

번역 English → 한국어

llama.cpp 프로젝트는 인덱서에서 사용되지 않기 때문에 V 캐시를 할당하지 않도록 하는 메모리 최적화가 포함된 빌드 b10889를 출시했습니다.

이 업데이트에서는 macOS (Apple Silicon 및 Intel), iOS, Linux (Ubuntu x64, arm64, s390x with CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL 백엔드), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0) 및 openEuler에 대한 사전 빌드된 바이너리를 제공합니다.

릴리스에는 llama.cpp UI도 포함되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b10888이 GPU 프로파일러를 위한 Vulkan 명령 버퍼 디버그 레이블 추가

llama.cpp 프로젝트는 Vulkan 백엔드에서 GPU 프로파일러를 위한 명령 버퍼 디버그 레이블을 추가하는 새로운 기능을 포함하는 빌드 b10888을 출시했습니다.

github llama.cpp · 3시간 전 · 조회수 1회

llama.cpp b10886이 s390x에 대한 Q1_0 벡터 내장 지원 추가

llama.cpp 프로젝트는 s390x 아키텍처에 대한 Q1_0 벡터 내장 지원을 도입한 빌드 b10886을 출시했습니다. 이 업데이트에는 `ggml_vec_dot_q1_0_q8_0` 구현이 포함되어 있으며, 새로운 기능을 반영하기 위해 문서가 업데이트되었습니다.

github llama.cpp · 17시간 전 · 조회수 1회

llama.cpp b10883이 Vulkan 행렬 곱을 수정하고 Ampere 최적화를 복원

llama.cpp 프로젝트는 Vulkan 백엔드에 대한 중요한 업데이트를 포함한 빌드 b10883을 출시했습니다. 주요 변경 사항에는 셰이더 컴파일 및 성능을 개선하기 위해 행렬-행렬 곱셈 A형 연산에 spec constant를 사용하는 것이 포함됩니다.

media r/LocalLLaMA · 20시간 전 · 조회수 1회

gtrg55, 로컬 이미지 생성을 위한 INT4 양자화된 NVIDIA Cosmos3 64B 출시

한 사용자가 INT4 양자화를 사용하여 NVIDIA의 640억 파라미터 Cosmos3 모델을 로컬에서 실행하기 위한 코드와 가중치를 게시했습니다. 이 구현은 Apple Silicon에서 MLX를 통해, 그리고 CUDA에서도 텍스트-투-이미지 및 이미지-투-비디오 작업을 지원합니다.

github llama.cpp · 1일 전 · 조회수 2회

llama.cpp b10872가 템플릿 조회에서 Jinja의 null 왼쪽 피연산자를 수정

llama.cpp 프로젝트는 Jinja 템플릿 처리에 대한 수정을 포함한 빌드 b10872를 출시했습니다. 이 업데이트는 선택적 변수를 none으로 기본값으로 설정하고 맵에 대한 멤버십을 테스트하는 템플릿이 이전에 오류를 발생시켰던 문제를 해결합니다.