vLLMサーバーは、温度やtop_pなどのnullableなパラメータにおけるnull値を欠如として扱うようになり、クライアントがサーバーのデフォルトを明示的に要求できるようになりました。この変更により、APIはOpenAIの仕様および既存のjson_valueの慣習と整合性が取られました。

  • nullableなパラメータのnull値を処理するためにスキーマ検証を拡張しました。
  • フィールド評価ガードでnullをスキップするためのhas_field()ロジックを追加しました。
  • 内部参照をhas_fieldからhas_valueにリネームしました。

このアップデートにより、クライアントはnullを送信してサーバー側のデフォルトに依存することが可能になり、標準的なOpenAI APIの動作との互換性が確保されます。