github llama.cpp · 1시간 전 · inference

llama.cpp b10155에 MiMo-V2.5 오디오 지원 추가

번역 English → 한국어

llama.cpp 프로젝트는 MiMo-V2.5 오디오 입력 모델을 위한 지원을 도입한 빌드 b10155를 출시했습니다. 이 업데이트에는 MiMo 오디오용 GGUF 변환기가 포함되어 있으며, RVQ 기반 오디오 모델을 처리하는 데 필요한 C++ 백엔드 로직이 구현되었습니다.

RVQ 기반 모델 아키텍처를 사용하여 MiMo-V2.5 오디오 입력에 대한 지원을 추가했습니다.
MiMo 오디오 형식 전용으로 GGUF 변환기를 포함했습니다.
새로운 모델 유형에 해당하는 C++ 추론 코드를 구현했습니다.
CPU, GPU 및 특수 하드웨어 백엔드에 대해 macOS(Apple Silicon 및 Intel), Linux, Windows, Android 및 openEuler용 바이너리를 제공했습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp b10150이 ggml 오프로딩 로직을 조정하고 dsv4 그래프를 수정

llama.cpp 프로젝트는 가중치 백엔드로 연산을 오프로드하는 ggml 로직에 대한 조정을 포함한 빌드 b10150을 출시했습니다. 이 업데이트는 llama dsv4 그래프에 대한 수정도 다룹니다.

media Hugging Face Forums · 11시간 전

TraceML이 데이터 로딩 병목 현상을 진단하기 위해 Hugging Face Trainer 콜백 추가

저자는 GPU 계산 바운드와 입력 바운드 학습 성능 문제를 구분하는 데 도움을 주기 위해 오픈 소스 PyTorch 관측성 프로젝트인 TraceML에 진단 도구를 통합했습니다. 이 새로운 기능은 낮은 GPU 활용률이 느린 데이터 로딩 때문인지 실제 모델 계산 한계 때문인지 개발자가 빠르게 식별할 수 있게 합니다.

github llama.cpp · 13시간 전 · 조회수 2회

Aaron Teo가 llama.cpp에 -lm mlock 인수를 추가함

Aaron Teo가 llama.cpp 저장소에 `-lm mlock` 명령줄 인수를 도입하는 변경 사항을 제출했습니다. 이 추가 기능을 통해 사용자는 코드가 `mlock` 작업을 수행하지만 `mmap`을 사용하지 않는 영역에서 명시적으로 메모리를 잠글 수 있습니다.

github llama.cpp · 4일 전

llama.cpp b10093이 DeepSeek v4 템플릿을 수정하고 drop_reasoning 플래그를 추가함

llama.cpp 프로젝트는 DeepSeek v4 모델을 지원하기 위한 특정 업데이트가 포함된 빌드 b10093을 출시했습니다. 이번 릴리스는 템플릿 처리를 해결하고 이 모델 계열에 대한 새로운 구성 플래그를 도입했습니다.

github llama.cpp · 5일 전 · 조회수 1회

llama.cpp b10089이 CUDA GET_ROWS에 완전한 k-quant 및 i-quant 지원 추가

llama.cpp b10089 릴리스는 k-quants, i-quants 및 mxfp4 양자화 형식을 지원하도록 CUDA GET_ROWS 작업을 확장합니다. 이 변경으로 모든 양자화된 GGML 유형이 이제 임베딩 조회를 위한 직접 장치 경로를 사용할 수 있게 됩니다.