github llama.cpp · hace 1 h · inference

llama.cpp b10218 añade soporte de downsample para minicpmv46

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10218, que incluye la adición del soporte de downsample para minicpmv46 a través del pull request #25993. Esta actualización introduce un merger VIT 4x ignore y coloca el modo downsample dentro del formato GGUF.

Añadida la funcionalidad de downsample minicpmv46 a mtmd_image_preprocessor_llava_uhd.
Integrado el modo downsample directamente en la estructura GGUF.
Incluido un merger VIT 4x ignore en el proceso de conversión.

Esta versión proporciona binarios para macOS, Linux, Windows, Android y openEuler en varios aceleradores de hardware incluyendo CUDA, ROCm, Vulkan y OpenVINO.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Multimodal

Leer original

Microsoft lanza Mage-VL, un modelo multimodal de streaming nativo de códec

Microsoft ha lanzado Mage-VL, un modelo base multimodal eficiente de 4B de parámetros para la comprensión de imágenes y video que utiliza un enfoque nativo de códec para optimizar el procesamiento visual. El sistema separa los flujos de video en fotogramas ancla (I) y predichos (P), conservando solo los parches donde el códec asigna bits para reducir el consumo de tokens visuales en más del 75%.

github llama.cpp · hace 6 d

llama.cpp b10142 añade soporte preliminar para visión de MiniMax-M3

El proyecto llama.cpp lanzó la compilación b10142, que introduce soporte preliminar para visión del modelo MiniMax-M3. Esta actualización implementa un puerto solo de texto que reutiliza componentes existentes de MiniMax-M2, incluyendo GQA con QK-norm por cabeza y rotativo parcial, expertos al estilo DeepSeek-V3 y activación swigluoai.

media r/LocalLLaMA · hace 17 d · 2 vistas

OvisOCR2 encabeza OmniDocBench como el primer modelo de análisis de documentos de extremo a extremo

ATH-MaaS lanzó OvisOCR2, un modelo de visión y lenguaje de 0.8B post-entrenado a partir de Qwen3.5-0.8B que actúa como el primer modelo de extremo a extremo en encabezar la clasificación de OmniDocBench con una puntuación de 96.58 en v1.6.

arxiv arXiv cs.AI · hace 19 d

El conteo de tokens de salida, no el procesamiento visual, domina la energía en la inferencia de VLM en el borde

Un perfilado energético sistemático de la inferencia de Modelos Visión-Lenguaje (VLM) en dispositivo a través de cinco modelos y dos plataformas de hardware revela que el principal cuello de botella energético es la generación de salida en lugar de la percepción visual. El estudio revierte la suposición común de que reducir los tokens visuales es la estrategia de eficiencia más efectiva, demostrando en su lugar que controlar la longitud de la salida es crítico para ahorrar energía.

arxiv arXiv cs.CL · hace 25 d

OpenGlass introduce una arquitectura de división entre sensores y computación para asistencia visual local impulsada por MLLM

Los investigadores presentan OpenGlass, un sistema de código abierto que divide la captura de datos y el procesamiento para proporcionar asistencia visual multimodal de baja latencia para usuarios ciegos o con baja visión. La arquitectura utiliza unas gafas basadas en ESP32 para capturar el contexto visual mientras un dispositivo de consumo cercano realiza inferencia MLLM local, manteniendo los datos sin procesar por defecto en dispositivos controlados por el usuario.