github llama.cpp · 1時間前 · inference

llama.cpp b10218 が minicpmv46 ダウンサンプリングサポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10218 をリリースし、これには pull request #25993 経由で minicpmv46 ダウンサンプリングサポートの追加が含まれています。このアップデートでは 4x ignore VIT merger が導入され、ダウンサンプリングモードが GGUF フォーマット内に配置されました。

mtmd_image_preprocessor_llava_uhd に minicpmv46 ダウンサンプリング機能を追加。
ダウンサンプリングモードを GGUF 構造に直接統合。
変換プロセスに 4x ignore VIT merger を含める。

このリリースでは、CUDA、ROCm、Vulkan、OpenVINO などの各種ハードウェアアクセラレーターに対応した、macOS、Linux、Windows、Android、openEuler 用のバイナリが提供されます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Multimodal

原文を読む

関連記事

media r/LocalLLaMA · 4日前 · 1 回表示

Microsoft、コーデックネイティブのストリーミングマルチモーダルモデル「Mage-VL」をリリース

Microsoftは、画像および動画の理解のために設計された効率的な4Bパラメータのマルチモーダル基盤モデル「Mage-VL」をリリースした。このモデルは視覚処理を効率化するためにコーデックネイティブのアプローチを採用している。システムは動画ストリームをアンカー（I）フレームと予測（P）フレームに分離し、コーデックがビットを割り当てるパッチのみを保持することで、視覚トークンの消費量を75%以上削減する。

github llama.cpp · 6日前

llama.cpp b10142 が MiniMax-M3 の視覚サポートをプレリリース

llama.cpp プロジェクトはビルド b10142 をリリースし、MiniMax-M3 モデルのプレビュー版の視覚サポートを導入しました。このアップデートは、既存の MiniMax-M2 のコンポーネントを再利用するテキスト専用のポートを実装しています。これには、ヘッドごとの QK ノーマライゼーションと部分的な回転位置エンコーディングを備えた GQA、DeepSeek-V3 スタイルのエクスパート、および swigluoai 活性化関数が含まれます。

media r/LocalLLaMA · 17日前 · 2 回表示

OvisOCR2がOmniDocBenchで首位、初のエンドツーエンド文書解析モデルに

ATH-MaaSは、Qwen3.5-0.8Bからポストトレーニングされた0.8Bのビジョン言語モデルであるOvisOCR2をリリースしました。このモデルは、v1.6で96.58のスコアを記録し、OmniDocBenchリーダーボードで首位となる初のエンドツーエンドモデルです。

arxiv arXiv cs.AI · 19日前

エッジVLM推論におけるエネルギーの支配的要因は視覚処理ではなく出力トークン数

5つのモデルと2つのハードウェアプラットフォームにわたるオンデバイスVision-Language Model (VLM) 推論の体系的なエネルギープロファイリングにより、主要なエネルギーボトルネックは視覚的知覚ではなく出力生成であることが明らかになった。この研究は、視覚トークンを削減することが最も効果的な効率化戦略であるという一般的な仮説を覆し、電力節約には出力長の制御が重要であることを実証している。

arxiv arXiv cs.CL · 25日前

OpenGlassは、ローカルMLLM駆動の視覚支援のためのセンシング・コンピューティング分離アーキテクチャを導入

研究者らは、OpenGlassを発表しました。これは、センシングとコンピューティングを分離し、盲目および低視力ユーザー向けに低遅延のマルチモーダル視覚支援を提供するオープンソースシステムです。このアーキテクチャは、ESP32ベースのグラスユニットを使用して視覚的コンテキストを取得しつつ、近くの消費者デバイスがローカルMLLM推論を実行し、デフォルトでは生データをユーザー管理のデバイスに保持します。