llama.cpp プロジェクトはビルド b10896 をリリースし、DFlash をビジョンモデルで使用する場合にドラフターメモリが新しいトークンを割り当てられない重大な問題を解決しました。この失敗は、画像が固定オフセットを報告し、適切なトークン割り当てを防ぐことが原因で発生していました。
- 修正により画像オフセットのコピーが停止し、ドラフターがデコードを継続できるようになります。
- M-RoPE スキップは画像にのみ制限され、オーディオは変更なしで通過します。
- コメントは更新された実装ロジックに合わせて整理されました。
このアップデートにより、画像メタデータの処理に起因するメモリ割り当てエラーを解消し、DFlash を使用したマルチモーダルモデルでの推論デコードが正しく機能することが保証されます。