github llama.cpp · 5時間前 · inference

llama.cpp が embeddingGemma2 のマルチモーダル埋め込みをサポート

翻訳元 English → 日本語

llama.cpp プロジェクトは、テキスト、ビジョン、オーディオ入力を処理する embeddingGemma2 モデルのサポートを追加しました。このアップデートは pull request #30054 経由で実装されています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Multimodal

llama.cpp v0.6.0 が拡張バッチ API、GLM-5.3-Flash サポート、および判断モデルエンドポイントを追加

llama.cpp v0.6.0 は、トークンと埋め込み入力の混合に対応する新しい llama_batch_ext 拡張バッチ API、GLM-5.3-Flash 320B ハイブリッドモデル、および Clef 判断モデルのサポートを導入します。

github llama.cpp · 8日前 · 45 回表示

llama.cpp b11240が/v1/embeddingsに型付きマルチモーダル入力サポートを追加

llama.cppサーバーは、/v1/embeddingsエンドポイントに対して型付きコンテンツ（ビジョン、オーディオ、ビデオ）の入力をサポートするようになりました。この更新により、OpenAIスタイルのラップされたコンテンツ配列を受け入れることで、マルチモーダル埋め込みリクエストが可能になり、textとimage_urlの部分を一緒に処理できます。

media MarkTechPost · 11日前 · 46 回表示

Liquid AI、最大3.13倍高速デコーディングを実現するLFM2.5-VL-3B-DSparkのスペキュラティブドラフターをリリース

Liquid AIは、そのLFM2.5-VL-3Bビジョン言語モデル用の実験的なスペキュラティブデコーディング用ドラフトモデルであるLFM2.5-VL-3B-DSparkをリリースした。このドラフターは約280Mのパラメータを追加し、モデルの出力分布を変更せずにトークン生成を加速する。

lab Hugging Face Blog · 12日前 · 38 回表示

Liquid AIがLFM2.5-VL-DSparkをリリースし、ビジョン言語モデルの推論を加速

Liquid AIは、LFM2.5-VL-3Bビジョン言語モデルの推論を加速するために設計されたスペキュラティブデコーディング用ドラフターであるLFM2.5-VL-DSparkドラフトモデルをリリースした。このドラフターは、ターゲットモデルの固定レイヤーから隠れ状態を取得して候補トークンを生成し、モダリティ間で次元数を同一に保ちながら、パラメータ数を280M（オーバーヘッド8.9%）のみ追加する。

lab Liquid AI · 12日前 · 40 回表示

Liquid AI、LFM2.5-VL-3B用のDSparkドラフトモデルをリリース

Liquid AIは、視覚言語モデル LFM2.5-VL-3B のための実験的な DSpark ドラフトモデルをリリースし、出力品質を変更せずにエッジデバイスやGPUでより高速なデコードを可能にしました。