github llama.cpp · há 1 h · inference

llama.cpp b10218 adiciona suporte a downsample do minicpmv46

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10218, que inclui a adição do suporte ao downsample do minicpmv46 por meio do pull request #25993. Esta atualização introduz um merger VIT 4x ignore e coloca o modo downsample dentro do formato GGUF.

Adicionada a funcionalidade de downsample do minicpmv46 ao mtmd_image_preprocessor_llava_uhd.
Integrado o modo downsample diretamente na estrutura GGUF.
Incluído um merger VIT 4x ignore no processo de conversão.

Esta versão fornece binários para macOS, Linux, Windows, Android e openEuler em vários aceleradores de hardware, incluindo CUDA, ROCm, Vulkan e OpenVINO.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Multimodal

Ler original

Microsoft lança Mage-VL, um modelo multimodal de streaming nativo para codec

A Microsoft lançou o Mage-VL, um modelo de fundação multimodal eficiente com 4B de parâmetros para compreensão de imagens e vídeos que utiliza uma abordagem nativa para codec a fim de simplificar o processamento visual. O sistema separa os fluxos de vídeo em quadros âncora (I) e quadros previstos (P), retendo apenas os patches onde o codec aloca bits, reduzindo o consumo de tokens visuais em mais de 75%.

github llama.cpp · há 6 d

llama.cpp b10142 adiciona suporte preliminar ao vision do MiniMax-M3

O projeto llama.cpp lançou a compilação b10142, que introduz suporte preliminar ao vision para o modelo MiniMax-M3. Esta atualização implementa uma versão apenas de texto que reutiliza componentes existentes do MiniMax-M2, incluindo GQA com QK-norm por cabeça e rotação parcial, especialistas no estilo DeepSeek-V3 e ativação swigluoai.

media r/LocalLLaMA · há 17 d · 2 visualizações

OvisOCR2 lidera o OmniDocBench como primeiro modelo de análise documental end-to-end

A ATH-MaaS lançou o OvisOCR2, um modelo de visão e linguagem de 0.8B pós-treinado a partir do Qwen3.5-0.8B, que atua como o primeiro modelo end-to-end a liderar o ranking do OmniDocBench com uma pontuação de 96.58 na versão v1.6.

arxiv arXiv cs.AI · há 19 d

Contagem de tokens de saída, não processamento visual, domina o consumo energético na inferência de VLMs em dispositivos de borda

Um perfilamento energético sistemático da inferência de Modelos Visão-Linguagem (VLM) em dispositivo, realizado com cinco modelos e duas plataformas de hardware, revela que o principal gargalo energético é a geração de saída, e não a percepção visual. O estudo derruba a suposição comum de que reduzir tokens visuais é a estratégia de eficiência mais eficaz, demonstrando que controlar o comprimento da saída é crucial para economizar energia.

arxiv arXiv cs.CL · há 25 d

OpenGlass apresenta arquitetura de divisão entre sensoriamento e computação para assistência visual local acionada por MLLM

Pesquisadores apresentam o OpenGlass, um sistema de código aberto que divide a captura de dados e o processamento para fornecer assistência visual multimodal de baixa latência para usuários cegos ou com baixa visão. A arquitetura usa óculos baseados em ESP32 para capturar o contexto visual enquanto um dispositivo de consumo próximo realiza inferência MLLM local, mantendo os dados brutos por padrão em dispositivos controlados pelo usuário.