github llama.cpp · 1 ч назад · inference

llama.cpp b10218 добавляет поддержку даунсемпла minicpmv46

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10218, которая включает добавление поддержки даунсемпла minicpmv46 через pull request #25993. Это обновление вводит 4x ignore VIT merger и помещает режим даунсемпла внутрь формата GGUF.

Добавлена функциональность даунсемпла minicpmv46 в mtmd_image_preprocessor_llava_uhd.
Режим даунсемпла интегрирован непосредственно в структуру GGUF.
В процесс конвертации включен 4x ignore VIT merger.

Эт релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler на различных аппаратных ускорителях, включая CUDA, ROCm, Vulkan и OpenVINO.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Multimodal

Оригинал

Microsoft выпустила Mage-VL — потоковую мультимодельную модель с нативным кодеком

Microsoft выпустила Mage-VL, эффективную мультимодельную базовую модель на 4 млрд параметров для понимания изображений и видео, использующую подход с нативным кодеком для оптимизации визуальной обработки. Система разделяет видеопотоки на опорные (I) кадры и предсказанные (P) кадры, сохраняя только те патчи, которым кодек выделяет биты, что снижает потребление визуальных токенов более чем на 75%.

github llama.cpp · 6 д назад

llama.cpp b10142 добавляет предварительную поддержку зрения MiniMax-M3

Проект llama.cpp выпустил сборку b10142, которая вводит предварительную поддержку зрения для модели MiniMax-M3. Это обновление реализует текстовый порт, который повторно использует существующие компоненты из MiniMax-M2, включая GQA с нормализацией QK на голову и частичным поворотом, экспертами в стиле DeepSeek-V3 и активацией swigluoai.

media r/LocalLLaMA · 17 д назад · 2 просмотра

OvisOCR2 возглавил OmniDocBench как первая сквозная модель для разбора документов

ATH-MaaS выпустила OvisOCR2, 0.8B модель с зрительно-языковыми возможностями, дообученную на базе Qwen3.5-0.8B, которая стала первой сквозной моделью, возглавившей таблицу лидеров OmniDocBench с результатом 96.58 на версии v1.6.

arxiv arXiv cs.AI · 19 д назад

Количество выходных токенов, а не визуальная обработка, определяет энергопотребление при выводе VLM на периферии

Систематическое профилирование энергопотребления вывода Vision-Language Model (VLM) на устройстве для пяти моделей и двух аппаратных платформ показывает, что основное энергетическое узкое место — это генерация выходных данных, а не визуальное восприятие. Исследование опровергает распространённое предположение о том, что сокращение количества визуальных токенов является наиболее эффективной стратегией повышения производительности; вместо этого демонстрируется, что контроль длины вывода имеет решающее значение для экономии энергии.

arxiv arXiv cs.CL · 25 д назад

OpenGlass представляет архитектуру разделения сенсоров и вычислений для локального визуального помощника на базе MLLM

Исследователи представляют OpenGlass, систему с открытым исходным кодом, которая разделяет функции сбора данных и обработки информации для обеспечения мультимодальной визуальной помощи пользователям с нарушениями зрения. Архитектура использует очки на базе ESP32 для захвата визуального контекста, в то время как близлежащее потребительское устройство выполняет локальный вывод MLLM, по умолчанию сохраняя сырые данные на устройствах, контролируемых пользователем.