github llama.cpp · 3시간 전 · inference

llama.cpp b10180이 SYCL 단항 연산에 연속 빠른 경로 및 32비트 인덱스 산술 추가

번역 English → 한국어

llama.cpp 프로젝트는 SYCL 백엔드에 대한 성능 최적화를 도입한 빌드 b10180을 출시했습니다. 업데이트는 연속 빠른 경로를 구현하고 요소별 인덱스 산술을 32비트 정수와 함께 fastdiv를 사용하도록 전환합니다.

SYCL: 단항 요소별 연산을 위한 연속 빠른 경로 + 32비트 인덱스 산술
SYCL: 요소별 인덱스 산술에 fastdiv 사용

이 릴리스는 CPU, GPU 및 다양한 가속기 백엔드에 대해 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b10155에 MiMo-V2.5 오디오 지원 추가

llama.cpp 프로젝트는 MiMo-V2.5 오디오 입력 모델을 위한 지원을 도입한 빌드 b10155를 출시했습니다. 이 업데이트에는 MiMo 오디오용 GGUF 변환기가 포함되어 있으며, RVQ 기반 오디오 모델을 처리하는 데 필요한 C++ 백엔드 로직이 구현되었습니다.

github llama.cpp · 2일 전 · 조회수 2회

llama.cpp b10150이 ggml 오프로딩 로직을 조정하고 dsv4 그래프를 수정

llama.cpp 프로젝트는 가중치 백엔드로 연산을 오프로드하는 ggml 로직에 대한 조정을 포함한 빌드 b10150을 출시했습니다. 이 업데이트는 llama dsv4 그래프에 대한 수정도 다룹니다.

media Hugging Face Forums · 2일 전 · 조회수 2회

TraceML이 데이터 로딩 병목 현상을 진단하기 위해 Hugging Face Trainer 콜백 추가

저자는 GPU 계산 바운드와 입력 바운드 학습 성능 문제를 구분하는 데 도움을 주기 위해 오픈 소스 PyTorch 관측성 프로젝트인 TraceML에 진단 도구를 통합했습니다. 이 새로운 기능은 낮은 GPU 활용률이 느린 데이터 로딩 때문인지 실제 모델 계산 한계 때문인지 개발자가 빠르게 식별할 수 있게 합니다.

github llama.cpp · 2일 전 · 조회수 6회

Aaron Teo가 llama.cpp에 -lm mlock 인수를 추가함

Aaron Teo가 llama.cpp 저장소에 `-lm mlock` 명령줄 인수를 도입하는 변경 사항을 제출했습니다. 이 추가 기능을 통해 사용자는 코드가 `mlock` 작업을 수행하지만 `mmap`을 사용하지 않는 영역에서 명시적으로 메모리를 잠글 수 있습니다.

github llama.cpp · 6일 전 · 조회수 1회

llama.cpp b10093이 DeepSeek v4 템플릿을 수정하고 drop_reasoning 플래그를 추가함

llama.cpp 프로젝트는 DeepSeek v4 모델을 지원하기 위한 특정 업데이트가 포함된 빌드 b10093을 출시했습니다. 이번 릴리스는 템플릿 처리를 해결하고 이 모델 계열에 대한 새로운 구성 플래그를 도입했습니다.