Armin Ronacher relata que os modelos mais recentes do Claude da Anthropic, especificamente Opus 4.8 e Sonnet 5, estão produzindo chamadas de ferramenta malformadas ao interagir com o ambiente de codificação Pi. Os modelos inventam campos extras na matriz de edições aninhadas que não correspondem ao esquema esperado, fazendo com que o Pi rejeite a chamada.
- Modelos SOTA mais recentes como Opus 4.8 e Sonnet 5 exibem essa regressão, enquanto modelos mais antigos não o fazem.
- O problema decorre dos modelos serem treinados para usar as ferramentas de edição embutidas do Claude Code, o que prejudica a compatibilidade com ambientes de terceiros.
- Isso contrasta com o Codex da OpenAI, que usa um mecanismo apply_patch diferente projetado para uso eficaz de ferramentas.
O artigo sugere que os ambientes de codificação de terceiros podem precisar implementar múltiplas ferramentas de edição para garantir desempenho correto em diferentes modelos subjacentes.