github vLLM · たった今 · inference

vLLM v0.28.0rc2 がローカル畳み込みと候補セレクタ付きの DFlash2 Spec Decode を追加

翻訳元 English → 日本語

vLLM プロジェクトはバージョン 0.28.0rc2 をリリースし、DFlash2 推論デコーディング機能が含まれています。

重要度 1/3 信頼度 2/3 vLLM Inference efficiency

llama.cpp プロジェクトはバージョン b10539 をリリースしました。これは Vulkan バックエンドの重要な数値安定性の問題を解決し、Windows ユーザー向けのハードウェアサポートを拡張します。

llama.cpp プロジェクトはビルド b10541 をリリースし、マルチモーダル投影ファイルの読み込みに使用するデバイスバックエンドをユーザーが指定できるようにする `--mmproj-device` コマンドライン引数を導入しました。

llama.cppプロジェクトはビルドb10545をリリースし、MetalバックエンドのテンソルAPI行列乗算カーネルの重要なバグに対処しました。この更新は、K次元が32の倍数でないテンサーを処理する際の未定義動作や破損した結果を防ぎます。

llama.cppプロジェクトはビルドb10534をリリースし、CUDA上の量子化されたデコード時にベクトルパスとテンソルコアパス間のクロスを調整するためのハードウェア固有の切替点を導入しました。

llama.cppプロジェクトはバージョンb10538をリリースし、metalバックエンドに重要な最適化を導入しました。このアップデートにより、キー・バリュー(KV)キャッシュのデ量子化が大きなバッチサイズに対してのみ有効になります。