github llama.cpp · 1시간 전 · inference

Aaron Teo가 llama.cpp에 -lm mlock 인수를 추가함

번역 English → 한국어

Aaron Teo가 llama.cpp 저장소에 `-lm mlock` 명령줄 인수를 도입하는 변경 사항을 제출했습니다. 이 추가 기능을 통해 사용자는 코드가 `mlock` 작업을 수행하지만 `mmap`을 사용하지 않는 영역에서 명시적으로 메모리를 잠글 수 있습니다.

이 커밋에는 자동 검토 지점에 대한 문서 업데이트 및 수정 사항과 함께, `--mlock` 플래그의 의미가 mmap'ed가 아닌 mlock 시나리오에만 적용되도록 보장하기 위해 이전 변경 사항을 되돌리는 작업도 포함되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

관련 기사

github llama.cpp · 4일 전

llama.cpp b10093이 DeepSeek v4 템플릿을 수정하고 drop_reasoning 플래그를 추가함

llama.cpp 프로젝트는 DeepSeek v4 모델을 지원하기 위한 특정 업데이트가 포함된 빌드 b10093을 출시했습니다. 이번 릴리스는 템플릿 처리를 해결하고 이 모델 계열에 대한 새로운 구성 플래그를 도입했습니다.

github llama.cpp · 5일 전 · 조회수 1회

llama.cpp b10089이 CUDA GET_ROWS에 완전한 k-quant 및 i-quant 지원 추가

llama.cpp b10089 릴리스는 k-quants, i-quants 및 mxfp4 양자화 형식을 지원하도록 CUDA GET_ROWS 작업을 확장합니다. 이 변경으로 모든 양자화된 GGML 유형이 이제 임베딩 조회를 위한 직접 장치 경로를 사용할 수 있게 됩니다.

github llama.cpp · 6일 전

llama.cpp b10076, int4 복사로 get_rows 벡터화하여 27% 속도 향상

llama.cpp 프로젝트는 CUDA 백엔드의 `get_rows` 작업을 int4 복사를 사용하여 벡터화하는 성능 최적화를 도입한 빌드 b10076을 출시했습니다. 이 변경은 요소별 루프에서 행 불변 작업을 끌어내고, 연속된 동일 타입 데이터에 대해 스레드당 16바이트를 복사하는 벡터화된 경로를 추가합니다.

media Hugging Face Forums · 9일 전 · 조회수 3회

zhongkaifu가 GGUF 모델을 위한 네이티브 .NET LLM 추론 엔진인 TensorSharp를 출시

zhongkaifu는 Windows, macOS 및 Linux를 지원하며 C#으로 완전히 구축된 오픈소스 로컬 LLM 추론 엔진인 TensorSharp를 출시했습니다. 이 엔진은 Unsloth의 GGUF 모델을 처리하며, 멀티모달 기능을 갖춘 Gemma 4와 Qwen 3.6을 포함하고 OpenAI 및 Ollama와 호환되는 API를 제공합니다.

github llama.cpp · 방금 실시간

llama.cpp b10148이 드래프트 사이드카 해상도 및 로그 verbosity를 수정함

llama.cpp 프로젝트는 추론 디코딩 구성 및 로깅 문제를 해결한 빌드 b10148을 출시했습니다. 이 업데이트는 드래프트 모델에 대한 명시적 명령줄 인수가 자동 사이드카 해상도보다 우선함을 보장합니다.