github llama.cpp · 1시간 전 · inference

llama.cpp b10150이 ggml 오프로딩 로직을 조정하고 dsv4 그래프를 수정

번역 English → 한국어

llama.cpp 프로젝트는 가중치 백엔드로 연산을 오프로드하는 ggml 로직에 대한 조정을 포함한 빌드 b10150을 출시했습니다. 이 업데이트는 llama dsv4 그래프에 대한 수정도 다룹니다.

ggml: 가중치 백엔드로 연산 오프로딩 로직 조정
llama: dsv4 그래프 수정

이번 릴리스에서는 CPU, CUDA, Vulkan, ROCm, OpenVINO을 포함한 다양한 하드웨어 백엔드에 대해 macOS, Linux, Windows, Android, iOS용 업데이트된 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

TraceML이 데이터 로딩 병목 현상을 진단하기 위해 Hugging Face Trainer 콜백 추가

저자는 GPU 계산 바운드와 입력 바운드 학습 성능 문제를 구분하는 데 도움을 주기 위해 오픈 소스 PyTorch 관측성 프로젝트인 TraceML에 진단 도구를 통합했습니다. 이 새로운 기능은 낮은 GPU 활용률이 느린 데이터 로딩 때문인지 실제 모델 계산 한계 때문인지 개발자가 빠르게 식별할 수 있게 합니다.

github llama.cpp · 5시간 전 · 조회수 1회

Aaron Teo가 llama.cpp에 -lm mlock 인수를 추가함

Aaron Teo가 llama.cpp 저장소에 `-lm mlock` 명령줄 인수를 도입하는 변경 사항을 제출했습니다. 이 추가 기능을 통해 사용자는 코드가 `mlock` 작업을 수행하지만 `mmap`을 사용하지 않는 영역에서 명시적으로 메모리를 잠글 수 있습니다.

github llama.cpp · 4일 전

llama.cpp b10093이 DeepSeek v4 템플릿을 수정하고 drop_reasoning 플래그를 추가함

llama.cpp 프로젝트는 DeepSeek v4 모델을 지원하기 위한 특정 업데이트가 포함된 빌드 b10093을 출시했습니다. 이번 릴리스는 템플릿 처리를 해결하고 이 모델 계열에 대한 새로운 구성 플래그를 도입했습니다.

github llama.cpp · 5일 전 · 조회수 1회

llama.cpp b10089이 CUDA GET_ROWS에 완전한 k-quant 및 i-quant 지원 추가

llama.cpp b10089 릴리스는 k-quants, i-quants 및 mxfp4 양자화 형식을 지원하도록 CUDA GET_ROWS 작업을 확장합니다. 이 변경으로 모든 양자화된 GGML 유형이 이제 임베딩 조회를 위한 직접 장치 경로를 사용할 수 있게 됩니다.

github llama.cpp · 6일 전

llama.cpp b10076, int4 복사로 get_rows 벡터화하여 27% 속도 향상

llama.cpp 프로젝트는 CUDA 백엔드의 `get_rows` 작업을 int4 복사를 사용하여 벡터화하는 성능 최적화를 도입한 빌드 b10076을 출시했습니다. 이 변경은 요소별 루프에서 행 불변 작업을 끌어내고, 연속된 동일 타입 데이터에 대해 스레드당 16바이트를 복사하는 벡터화된 경로를 추가합니다.