Hugging Faceフォーラムのユーザーは、入力テキストの文字通りの生成とインライン分類タグを強制するカスタムロジットプロセッサを開発しています。このアプローチは連鎖的思考推論を行わないモデルでは機能しますが、ユーザーは今や分類された出力を生成する前に自由に推論を行う2段階の生成プロセスを実装することを目指しています。

  • ユーザーは以前、直接出力モデル向けにプロセッサを実装しましたが、分離された思考フェーズと応答フェーズを処理する必要があります。
  • 初期のアイデアには思考終了トークンの検出が含まれていましたが、ユーザーはOllamaやvLLMのようなAPIがすでにこのデータを内部的に構造化していると指摘しています。
  • 生成中のロジットへのアクセスが必要ですが、これはOllamaではサポートされておらず、Hugging Faceとの互換性のためにvLLMに最近追加された機能です。
  • 中核的な質問は、外部APIの構造に依存せずにHFライブラリのみを使用してこれらの2つのフェーズを分割する方法があるかどうかです。