github llama.cpp · 2시간 전 · inference

llama.cpp 0.4.0이 Qwen3.8-Flash-Next 및 Nemotron-3-Puzzle 지원을 추가합니다

번역 English → 한국어

llama.cpp 버전 0.4.0은 Qwen3.8-Flash-Next 및 NVIDIA Nemotron-3-Puzzle-75B-A9B 모델에 대한 초기 아키텍처 지원을 도입하고, 기반 ggml 라이브러리를 버전 0.23.0으로 업그레이드했습니다.

요청 시 지연 텐서 읽기 및 슬롯별 서버 컨텍스트 제한을 추가했습니다.
ggml을 0.23.0으로 업데이트하여 희소 플래시 어텐션 및 Apple RDMA 전송 지원을 포함했습니다.
비디오 입력 옵션, n-gram 히스토리 조회 및 양자화기의 RAM 캡을 도입했습니다.
서버에서 `preserve_reasoning`을 기본적으로 활성화하고 멀티모달 토큰화 도우미를 개선했습니다.

이러한 변경은 모델 호환성을 확장하고 개발자가 메모리 사용량과 서버 리소스 할당에 대해 더 세밀하게 제어할 수 있도록 합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency Multimodal

원문 보기

llama.cpp 0.3.0이 dots3-note 모델과 DeepSeek 4용 텐서 분할을 추가하다

llama.cpp 0.3.0은 새로운 DSA-ISWA KV 캐시 유형을 통해 dots3-note 다중모달 모델을 지원하고, GLM-4.5-Air에 대한 멀티 토큰 예측(MTP) 지원을 도입합니다. 이번 릴리스는 DeepSeek 4용 텐서 분할 기능을 추가하고 여러 시퀀스 롤백 문제를 수정했습니다.

media r/LocalLLaMA · 51일 전 · 조회수 17회

OvisOCR2, OmniDocBench 선두 등극... 첫 번째 엔드투엔드 문서 파싱 모델

ATH-MaaS는 Qwen3.5-0.8B에서 포스트 트레이닝된 0.8B 비전-라nguange 모델인 OvisOCR2를 출시했습니다. 이 모델은 v1.6에서 96.58의 점수를 기록하며 OmniDocBench 리더보드 선두에 오른 첫 번째 엔드투엔드 모델입니다.

github llama.cpp · 18시간 전 · 조회수 1회

llama.cpp b10795, SYCL 연산 융합

llama.cpp 프로젝트가 버전 b10795를 출시했으며, 여기에는 SYCL 백엔드를 위한 새로운 최적화가 포함되어 있습니다. 이 업데이트는 GGML_SYCL_ENABLE_FUSION 플래그 하에서 RMS_NORM+MUL+ADD 및 ADD+ADD 잔여 체인의 융합을 활성화합니다.

github llama.cpp · 1일 전 · 조회수 3회

llama.cpp b10791이 OpenCL 양자화된 lm_head 및 디코딩 GEMV 최적화를 추가함

llama.cpp 프로젝트가 버전 b10791을 출시하여 양자화된 언어 모델 헤드와 디코딩 GEMV 연산에 대한 상당한 OpenCL 최적화를 도입했습니다. 이 업데이트에는 추론 디코딩과 멀티 토큰 예측에 관련된 미디엄 배치 GEMM 개선 사항도 포함되어 있습니다.

media r/LocalLLaMA · 1일 전 · 조회수 4회

IFM이 4B의 활성 파라미터를 가진 희소 MoE 모델 K2-Horizon-MoVA-36B-A4B 출시

IFM은 Mixture-of-Values 어텐션을 특징으로 하며 36B의 파라미터를 저장하지만 토큰당 4B만 실행하는 Mixture-of-Experts 모델인 K2-Horizon-MoVA-36B-A4B의 최종 체크포인트를 출시했습니다. 이번 릴리스에는 GGUF 형식과 K2-Horizon 패밀리 내 더 작은 변형체에 대한 링크가 포함되어 있습니다.