github llama.cpp · hace 1 h · inference

llama.cpp b10142 añade soporte preliminar para visión de MiniMax-M3

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10142, que introduce soporte preliminar para visión del modelo MiniMax-M3. Esta actualización implementa un puerto solo de texto que reutiliza componentes existentes de MiniMax-M2, incluyendo GQA con QK-norm por cabeza y rotativo parcial, expertos al estilo DeepSeek-V3 y activación swigluoai.

La implementación incluye la torre de visión MiniMax-M3 (mmproj + gráfico clip) mientras elimina las cabezas MTP y el soporte de atención dispersa.
Las optimizaciones de rendimiento incluyen descomponer operaciones lentas de CPU en ops de GPU/CPU para aceleraciones masivas en contextos largos y reescribir la op del indexador para que sea nativa de CUDA.
Una ruta unificada 4-way + decode reduce los nodos por capa de ~50 a ~25, reduciendo los búferes de cómputo aproximadamente un 20%.
Los efectos medidos muestran que las velocidades de decode aumentan de 6.2–7.15 t/s a 7.7–7.8 t/s en configuraciones con descarga de expertos, mientras que el prefill se vuelve alrededor de un 10% más rápido.

Todos los GGUFs generados antes de este cambio deben regenerarse para garantizar la compatibilidad con la nueva arquitectura y la lógica de conversión.

Importancia 1/3 Confianza 1/3 llama.cpp MiniMax Inference efficiency Multimodal

Artículos relacionados

media r/LocalLLaMA · hace 12 d · 1 vista

OvisOCR2 encabeza OmniDocBench como el primer modelo de análisis de documentos de extremo a extremo

ATH-MaaS lanzó OvisOCR2, un modelo de visión y lenguaje de 0.8B post-entrenado a partir de Qwen3.5-0.8B que actúa como el primer modelo de extremo a extremo en encabezar la clasificación de OmniDocBench con una puntuación de 96.58 en v1.6.

arxiv arXiv cs.AI · hace 13 d

El conteo de tokens de salida, no el procesamiento visual, domina la energía en la inferencia de VLM en el borde

Un perfilado energético sistemático de la inferencia de Modelos Visión-Lenguaje (VLM) en dispositivo a través de cinco modelos y dos plataformas de hardware revela que el principal cuello de botella energético es la generación de salida en lugar de la percepción visual. El estudio revierte la suposición común de que reducir los tokens visuales es la estrategia de eficiencia más efectiva, demostrando en su lugar que controlar la longitud de la salida es crítico para ahorrar energía.

arxiv arXiv cs.CL · hace 20 d

OpenGlass introduce una arquitectura de división entre sensores y computación para asistencia visual local impulsada por MLLM

Los investigadores presentan OpenGlass, un sistema de código abierto que divide la captura de datos y el procesamiento para proporcionar asistencia visual multimodal de baja latencia para usuarios ciegos o con baja visión. La arquitectura utiliza unas gafas basadas en ESP32 para capturar el contexto visual mientras un dispositivo de consumo cercano realiza inferencia MLLM local, manteniendo los datos sin procesar por defecto en dispositivos controlados por el usuario.

arxiv arXiv cs.AI · hace 20 d

VisionAId: asistente Android primero sin conexión con recuperación de objetos personalizada

VisionAId es una aplicación Android primero sin conexión diseñada para asistir a personas con discapacidad visual convirtiendo un smartphone común en un asistente visual en tiempo real. El sistema integra seis modelos de aprendizaje profundo en el dispositivo que se ejecutan a través de ONNX Runtime, incluyendo estimación de profundidad monocular métrica, segmentación de instancias y detección de rostros.

media r/LocalLLaMA · hace 22 d · 2 vistas

NVFP4 Qwen3.6-35B-A3B en Blackwell alcanza ~2000 tps con 30 flujos concurrentes

Un usuario demuestra la ejecución del modelo Qwen3.6-35B-A3B cuantizado con NVFP4 en una GPU RTX Pro 6000 Blackwell, logrando aproximadamente 2000 tokens por segundo de throughput agregado mientras maneja 30 flujos concurrentes de generación de descripciones de imágenes. La configuración utiliza vLLM con el backend de atención FLASHINFER y caché de prefijos para gestionar la alta concurrencia. La arquitectura Mixture of Experts (MoE) activa solo alrededor del 53-61% de los expertos incluso a niveles altos de concurrencia, lo que le permite superar a los modelos densos a pesar de su mayor conteo de parámetros. Esta configuración demuestra que la cuantización NVFP4 en hardware Blackwell puede manejar eficientemente cargas de trabajo multimodales con paralelismo significativo sin agotar la VRAM.