Armin Ronacher氏によると、Anthropicの最新のClaudeモデル、具体的にはOpus 4.8とSonnet 5は、Piコーディングハーネスとのやり取りにおいて不正なツール呼び出しを生成している。これらのモデルは、期待されるスキーマに一致しない余分なフィールドをネストされた編集配列内に作成し、その結果Piが呼び出しを拒否する。

  • Opus 4.8やSonnet 5のような最新のSOTAモデルはこの回帰現象を示すが、古いモデルは示さない。
  • この問題は、モデルがClaude Codeに組み込まれた編集ツールを使用するように訓練されていることに起因し、サードパーティのハーネスとの互換性を損なう。
  • これは、効果的なツール使用のために設計された異なるapply_patchメカニズムを使用するOpenAIのCodexとは対照的である。

記事では、複数の編集ツールを実装することで、異なる基盤モデル全体で正しいパフォーマンスを保証するために、サードパーティのコーディングハーネスが必要となる可能性が示唆されている。