llama.cpp プロジェクトはバージョン b10431 をリリースし、ggml_ssm_scan 操作で再帰的状態 (RS) ロールバックのサポートを導入しました。この変更により、CPU および CUDA バックエンドで Nemotron モデルの RS ロールバックが可能になります。
- CPU および CUDA での Nemotron の再帰的状態ロールバックの初期実装。
- すべてのバックエンドで ssm_scan 内の K > 1 のサポート。
- 操作のサポートを確認するために、静的な CUDA 検出をランタイムの fused_op API に置き換え。
- バックエンドが SSM ロールバックをサポートしない場合に CPU にフォールバック。
- 機能を確認するために CPU と CUDA の両方に test-backend-ops を追加。
このアップデートにより、ユーザーはサポートされているハードウェア構成で再帰的状態ロールバック機能を持つ Nemotron モデルを実行できるようになります。