大規模言語モデルから構造化出力を生成する際の信頼性を向上させるため、バリデーションエラーとモデルの以前の出力を再試行時のプロンプトにフィードバックする方法が提案されています。このアプローチは、ランダムな応答を再生成するプロセスを、前回の試行を編集して特定のエラーを自己修正するものへと変えます。

  • この手法には、バリデーションエラーをキャッチし、フォーマットされたエラーとシリアライズされた以前の応答を含むメッセージを次のプロンプトに追加することが含まれます。
  • エラーは、フィールドが整数を必要としているのに文字列を受け取ったように、モデルが理解できる形で記述する必要があります。
  • モデルの以前の出力を含めることで、全体の応答を再生成するのではなく、特定の誤っている部分を編集できます。
  • トレードオフには、追加の呼び出しによるレイテンシの増加や、失敗時のプロンプト長延長があり、試行回数の上限が必要です。
  • この方法は、無効な出力がモデルにフィードバックできる程度に構文解析可能である場合にのみ機能します。

この戦略により、ユーザーはランダムな再試行に依存するのではなく、モデル自身のミスを修正する能力を活用して、より信頼性の高い構造化出力を実現できます。