github llama.cpp · há 1 h · inference

llama.cpp b10142 adiciona suporte preliminar ao vision do MiniMax-M3

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10142, que introduz suporte preliminar ao vision para o modelo MiniMax-M3. Esta atualização implementa uma versão apenas de texto que reutiliza componentes existentes do MiniMax-M2, incluindo GQA com QK-norm por cabeça e rotação parcial, especialistas no estilo DeepSeek-V3 e ativação swigluoai.

A implementação inclui a torre vision do MiniMax-M3 (mmproj + grafo clip), enquanto remove os cabeçotes MTP e o suporte à atenção esparsa.
As otimizações de desempenho incluem a decomposição de operações lentas da CPU em operações GPU/CPU para grandes ganhos de velocidade em contextos longos e a reescrita do operador do indexador para ser nativo CUDA.
Um caminho unificado de 4 vias + decode reduz o número de nós por camada de ~50 para ~25, encolhendo os buffers de computação em aproximadamente 20%.
Os efeitos medidos mostram que as velocidades de decode aumentam de 6,2–7,15 t/s para 7,7–7,8 t/s em configurações com offload de especialistas, tornando o prefill cerca de 10% mais rápido.

Todos os GGUFs gerados antes desta alteração devem ser regenerados para garantir a compatibilidade com a nova arquitetura e lógica de conversão.

Importância 1/3 Confiança 1/3 llama.cpp MiniMax Inference efficiency Multimodal

Artigos relacionados

media r/LocalLLaMA · há 12 d · 1 visualização

OvisOCR2 lidera o OmniDocBench como primeiro modelo de análise documental end-to-end

A ATH-MaaS lançou o OvisOCR2, um modelo de visão e linguagem de 0.8B pós-treinado a partir do Qwen3.5-0.8B, que atua como o primeiro modelo end-to-end a liderar o ranking do OmniDocBench com uma pontuação de 96.58 na versão v1.6.

arxiv arXiv cs.AI · há 13 d

Contagem de tokens de saída, não processamento visual, domina o consumo energético na inferência de VLMs em dispositivos de borda

Um perfilamento energético sistemático da inferência de Modelos Visão-Linguagem (VLM) em dispositivo, realizado com cinco modelos e duas plataformas de hardware, revela que o principal gargalo energético é a geração de saída, e não a percepção visual. O estudo derruba a suposição comum de que reduzir tokens visuais é a estratégia de eficiência mais eficaz, demonstrando que controlar o comprimento da saída é crucial para economizar energia.

arxiv arXiv cs.CL · há 20 d

OpenGlass apresenta arquitetura de divisão entre sensoriamento e computação para assistência visual local acionada por MLLM

Pesquisadores apresentam o OpenGlass, um sistema de código aberto que divide a captura de dados e o processamento para fornecer assistência visual multimodal de baixa latência para usuários cegos ou com baixa visão. A arquitetura usa óculos baseados em ESP32 para capturar o contexto visual enquanto um dispositivo de consumo próximo realiza inferência MLLM local, mantendo os dados brutos por padrão em dispositivos controlados pelo usuário.

arxiv arXiv cs.AI · há 20 d

VisionAId: assistente Android offline-first com recuperação personalizada de objetos

VisionAId é um aplicativo Android offline-first projetado para auxiliar pessoas com deficiência visual, transformando um smartphone comum em um assistente visual em tempo real. O sistema integra seis modelos de deep learning no dispositivo que rodam através do ONNX Runtime, incluindo estimativa de profundidade monocular métrica, segmentação de instâncias e detecção de rostos.

media r/LocalLLaMA · há 22 d · 2 visualizações

NVFP4 Qwen3.6-35B-A3B no Blackwell alcança ~2000 tps com 30 streams concorrentes

Um usuário demonstra a execução do modelo Qwen3.6-35B-A3B quantizado com NVFP4 em uma GPU RTX Pro 6000 Blackwell, atingindo aproximadamente 2000 tokens por segundo de throughput agregado ao lidar com 30 streams concorrentes de geração de legendas para imagens. A configuração utiliza vLLM com o backend de atenção FLASHINFER e cache de prefixos para gerenciar alta concorrência. A arquitetura Mixture of Experts (MoE) ativa apenas cerca de 53-61% dos especialistas mesmo em níveis altos de concorrência, permitindo que supere modelos densos apesar de sua maior contagem de parâmetros. Esta configuração prova que a quantização NVFP4 no hardware Blackwell pode lidar eficientemente com cargas de trabalho multimodais com paralelismo significativo sem esgotar a VRAM.