Pesquisadores propõem o OAT, um modelo leve para atribuição não supervisionada de falhas em sistemas agênticos baseados em LLM que treina exclusivamente com trajetórias bem-sucedidas. Ao formular o problema como aprendizado de uma classe com equações diferenciais controladas por redes neurais, o OAT identifica etapas com erros durante a inferência com base no seu desvio da dinâmica aprendida.
- Treina apenas em 100 trajetórias bem-sucedidas sem supervisão em nível de etapa.
- Atribui escores de anomalia às etapas das trajetórias falhas com base em desvios do espaço latente.
- Alcança melhorias de +20% e +7% na pontuação F1 sobre as linhas de base baseadas em prompts dentro e fora da distribuição, respectivamente.
- Executa 200–5000× mais rápido que as abordagens existentes baseadas em prompts.
O OAT fornece uma direção promissora e eficiente para diagnosticar falhas em sistemas agênticos ao eliminar a necessidade de anotações de erros custosas.