llama.cppプロジェクトはビルドb10584をリリースし、ドラフトコンテキストのサイズがターゲットコンテキストと一致せず、サーバーリクエストが500エラーで失敗する重大な問題を解決しました。
- サーバーは現在、ドラフトコンテキストがターゲットコンテキストのサイズに従うことを保証し、スロットが以前の制限を超えて埋められた際のデコード障害を防ぎます。
- ドラフトモデルのメモリ予約は、ターゲットが受け取れる最大のコンテキストで測定され、ターゲットとセルを共有するコンテキストはkv_sizeオーバーライドをドロップできます。
- fit関数はオプションの第2モデルも考慮に入れ、メインコンテキストが変更されるたびにそのメモリが測定され、reduceパスを正確に保ちます。
このアップデートにより、ドラフトとターゲットのコンテキストサイズを動的に整合させることで、サーバーデプロイメントの安定性問題が解決されました。