github llama.cpp · 1시간 전 · inference

llama.cpp b10198, 양자화 concat에 대한 Vulkan 지원 추가

번역 English → 한국어

llama.cpp 프로젝트는 Vulkan 백엔드 내에서 양자화 연결 연산에 대한 지원을 도입한 빌드 b10198을 출시했습니다.

주요 기술 업데이트는 pull request #25684에서 구현된 양자화 concat에 대한 Vulkan 지원 추가입니다.
이 릴리스에서는 KleidiAI가 포함된 macOS Apple Silicon 빌드가 명시적으로 비활성화되었습니다.
macOS (Apple Silicon 및 Intel), Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, ROCm, OpenVINO, SYCL, HIP), Android 및 openEuler를 포함한 여러 플랫폼에 대한 바이너리가 제공됩니다.
릴리스 패키지에는 독립형 UI 바이너리도 포함되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

llama.cpp b10180이 SYCL 단항 연산에 연속 빠른 경로 및 32비트 인덱스 산술 추가

llama.cpp 프로젝트는 SYCL 백엔드에 대한 성능 최적화를 도입한 빌드 b10180을 출시했습니다. 업데이트는 연속 빠른 경로를 구현하고 요소별 인덱스 산술을 32비트 정수와 함께 fastdiv를 사용하도록 전환합니다.

github llama.cpp · 3일 전 · 조회수 3회

llama.cpp b10155에 MiMo-V2.5 오디오 지원 추가

llama.cpp 프로젝트는 MiMo-V2.5 오디오 입력 모델을 위한 지원을 도입한 빌드 b10155를 출시했습니다. 이 업데이트에는 MiMo 오디오용 GGUF 변환기가 포함되어 있으며, RVQ 기반 오디오 모델을 처리하는 데 필요한 C++ 백엔드 로직이 구현되었습니다.

github llama.cpp · 3일 전 · 조회수 2회

llama.cpp b10150이 ggml 오프로딩 로직을 조정하고 dsv4 그래프를 수정

llama.cpp 프로젝트는 가중치 백엔드로 연산을 오프로드하는 ggml 로직에 대한 조정을 포함한 빌드 b10150을 출시했습니다. 이 업데이트는 llama dsv4 그래프에 대한 수정도 다룹니다.

media Hugging Face Forums · 3일 전 · 조회수 2회

TraceML이 데이터 로딩 병목 현상을 진단하기 위해 Hugging Face Trainer 콜백 추가

저자는 GPU 계산 바운드와 입력 바운드 학습 성능 문제를 구분하는 데 도움을 주기 위해 오픈 소스 PyTorch 관측성 프로젝트인 TraceML에 진단 도구를 통합했습니다. 이 새로운 기능은 낮은 GPU 활용률이 느린 데이터 로딩 때문인지 실제 모델 계산 한계 때문인지 개발자가 빠르게 식별할 수 있게 합니다.

github llama.cpp · 3일 전 · 조회수 6회

Aaron Teo가 llama.cpp에 -lm mlock 인수를 추가함

Aaron Teo가 llama.cpp 저장소에 `-lm mlock` 명령줄 인수를 도입하는 변경 사항을 제출했습니다. 이 추가 기능을 통해 사용자는 코드가 `mlock` 작업을 수행하지만 `mmap`을 사용하지 않는 영역에서 명시적으로 메모리를 잠글 수 있습니다.