github llama.cpp · 1시간 전 · inference

llama.cpp b10218이 minicpmv46 다운샘플링 지원 추가

번역 English → 한국어

llama.cpp 프로젝트는 pull request #25993을 통해 minicpmv46 다운샘플링 지원을 추가한 빌드 b10218을 출시했습니다. 이 업데이트는 4x ignore VIT merger를 도입하고 다운샘플링 모드를 GGUF 형식 내부에 배치합니다.

mtmd_image_preprocessor_llava_uhd에 minicpmv46 다운샘플링 기능 추가.
다운샘플링 모드를 GGUF 구조에 직접 통합.
변환 과정에 4x ignore VIT merger 포함.

이 릴리스는 CUDA, ROCm, Vulkan, OpenVINO 등 다양한 하드웨어 가속기를 지원하는 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Multimodal

원문 보기

Microsoft가 코덱 네이티브 스트리밍 멀티모달 모델 Mage-VL을 출시하다

Microsoft는 이미지 및 비디오 이해를 위한 효율적인 4B 파라미터 멀티모달 파운데이션 모델인 Mage-VL을 출시했으며, 이는 시각적 처리를 간소화하기 위해 코덱 네이티브 접근 방식을 사용합니다. 이 시스템은 비디오 스트림을 앵커(I) 프레임과 예측(P) 프레임으로 분리하고, 코덱이 비트를 할당하는 패치만 유지하여 시각적 토큰 소비를 75% 이상 줄입니다.

github llama.cpp · 6일 전

llama.cpp b10142가 MiniMax-M3 비전 지원의 초기 버전을 추가함

llama.cpp 프로젝트는 MiniMax-M3 모델에 대한 초기 비전 지원을 도입하는 빌드 b10142를 출시했습니다. 이 업데이트는 기존 구성 요소를 재사용하는 텍스트 전용 포트를 구현했으며, 여기에는 헤드별 QK 정규화와 부분 회전, DeepSeek-V3 스타일 전문가, swigluoai 활성화가 포함된 GQA가 포함됩니다.

media r/LocalLLaMA · 17일 전 · 조회수 2회

OvisOCR2, OmniDocBench 선두 등극... 첫 번째 엔드투엔드 문서 파싱 모델

ATH-MaaS는 Qwen3.5-0.8B에서 포스트 트레이닝된 0.8B 비전-라nguange 모델인 OvisOCR2를 출시했습니다. 이 모델은 v1.6에서 96.58의 점수를 기록하며 OmniDocBench 리더보드 선두에 오른 첫 번째 엔드투엔드 모델입니다.

arxiv arXiv cs.AI · 19일 전

에지 VLM 추론에서 에너지의 주된 요인은 시각 처리가 아닌 출력 토큰 수

5개의 모델과 2개의 하드웨어 플랫폼에 걸쳐 온디바이스 Vision-Language Model (VLM) 추론을 체계적으로 에너지 프로파일링한 결과, 주요 에너지 병목 현상은 시각적 지각이 아닌 출력 생성에서 비롯됨이 드러났다. 이 연구는 시각 토큰을 줄이는 것이 가장 효과적인 효율화 전략이라는 일반적인 가정을 뒤집고, 전력 절약을 위해서는 출력 길이를 제어하는 것이 중요함을 입증했다.

arxiv arXiv cs.CL · 25일 전

OpenGlass, 로컬 MLLM 기반 시각 보조를 위한 센싱-컴퓨팅 분리 아키텍처 도입

연구자들은 OpenGlass를 발표했습니다. 이는 센싱과 컴퓨팅을 분리하여 맹인 및 저시력 사용자를 위해 낮은 지연 시간의 멀티모달 시각 보조를 제공하는 오픈소스 시스템입니다. 이 아키텍처는 ESP32 기반 안경 장치를 사용하여 시각적 컨텍스트를 캡처하는 동안 근처 소비자 디바이스가 로컬 MLLM 추론을 수행하며, 기본적으로 원시 데이터를 사용자 제어 디바이스에 유지합니다.