github llama.cpp · il y a 1 h · inference

llama.cpp b10218 ajoute le support du downsample pour minicpmv46

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10218, qui inclut l'ajout du support du downsample pour minicpmv46 via la pull request #25993. Cette mise à jour introduit un merger VIT 4x ignore et place le mode downsample à l'intérieur du format GGUF.

Ajout de la fonctionnalité de downsample minicpmv46 à mtmd_image_preprocessor_llava_uhd.
Intégration du mode downsample directement dans la structure GGUF.
Inclusion d'un merger VIT 4x ignore dans le processus de conversion.

Cette version fournit des binaires pour macOS, Linux, Windows, Android et openEuler sur divers accélérateurs matériels incluant CUDA, ROCm, Vulkan et OpenVINO.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Multimodal

Lire l'original

Microsoft publie Mage-VL, un modèle multimodal en streaming natif par codec

Microsoft a publié Mage-VL, un modèle de base multimodal efficace de 4 milliards de paramètres pour la compréhension d'images et de vidéos, qui utilise une approche native par codec pour rationaliser le traitement visuel. Le système sépare les flux vidéo en images ancrées (I) et images prédites (P), ne conservant que les patches où le codec alloue des bits afin de réduire la consommation de tokens visuels de plus de 75 %.

github llama.cpp · il y a 6 j

llama.cpp b10142 ajoute un support préliminaire pour la vision MiniMax-M3

Le projet llama.cpp a publié la version b10142, qui introduit un support préliminaire de la vision pour le modèle MiniMax-M3. Cette mise à jour implémente un portage en mode texte uniquement qui réutilise les composants existants de MiniMax-M2, notamment GQA avec QK-norm par tête et rotation partielle, experts de style DeepSeek-V3 et activation swigluoai.

media r/LocalLLaMA · il y a 17 j · 2 vues

OvisOCR2 en tête du OmniDocBench, premier modèle de parsing de documents de bout en bout

ATH-MaaS a publié OvisOCR2, un modèle vision-langage de 0.8B post-entraîné à partir de Qwen3.5-0.8B, qui est le premier modèle de bout en bout à atteindre la tête du classement OmniDocBench avec un score de 96.58 sur la version v1.6.

arxiv arXiv cs.AI · il y a 19 j

Le nombre de tokens de sortie, et non le traitement visuel, domine l'énergie dans l'inférence VLM edge

Un profilage énergétique systématique de l'inférence Vision-Language Model (VLM) sur dispositif à travers cinq modèles et deux plateformes matérielles révèle que le goulot d'énergie principal est la génération de sortie plutôt que la perception visuelle. L'étude renverse l'hypothèse commune selon laquelle la réduction des tokens visuels est la stratégie d'efficacité la plus efficace, démontrant au contraire que contrôler la longueur de sortie est critique pour les économies d'énergie.

arxiv arXiv cs.CL · il y a 25 j

OpenGlass introduit une architecture de séparation capteurs-calcul pour l'assistance visuelle multimodale locale pilotée par un MLLM

Les chercheurs présentent OpenGlass, un système open-source qui sépare la capture des données et le traitement pour fournir une assistance visuelle multimodale à faible latence aux utilisateurs aveugles ou malvoyants. L'architecture utilise un module de lunettes basé sur ESP32 pour capturer le contexte visuel tandis qu'un appareil grand public proche effectue l'inférence MLLM locale, gardant les données brutes par défaut sur des appareils contrôlés par l'utilisateur.