Benchmark · agentic
τ²-bench
τ²-bench é uma versão atualizada do τ-bench que avalia agentes de IA conversacional que usam ferramentas em tarefas de «controle duplo» (dual-control), nas quais tanto o agente quanto um usuário simulado podem executar ações para concluir o trabalho. A métrica principal é a porcentagem de tarefas resolvidas (a recompensa média entre as tarefas).
Saiba mais
- Exemplo
- Um cenário de suporte técnico: o agente consulta a conta de um cliente e segue a política do domínio enquanto orienta um usuário simulado a executar passos no próprio dispositivo (por exemplo, mudar uma configuração), e os dois precisam se coordenar para resolver o problema.
- Pontuação
- Cada tarefa termina com uma verificação automática de se o estado final do sistema/banco de dados corresponde ao resultado exigido, gerando uma recompensa por tarefa; a pontuação reportada é a porcentagem de tarefas resolvidas (ou a recompensa média).
- Verificação
- A aceitação é totalmente programática — o ambiente compara o estado final (e as ações exigidas) com o resultado esperado, sem avaliação humana, de modo que uma tarefa só conta quando o resultado corresponde.
- Por que importa
- Importa porque assistentes reais muitas vezes não podem agir sozinhos — precisam instruir e se coordenar com um usuário — e esse esquema de controle duplo expõe falhas de comunicação e coordenação que benchmarks de um único ator não captam.
Exemplo resolvido
Tarefa
τ²-bench, domínio de telecom (dual-control): um usuário simulado escreve: «Desde esta manhã estou sem dados móveis, mas chamadas e SMS ainda funcionam». Com o documento de políticas da operadora e as ferramentas — além de ações no dispositivo que o usuário pode executar no próprio celular —, autentique o cliente, diagnostique a falha e restaure os dados móveis.
Solução
Correct agent trajectory (telecom tools + user-side device actions):
1. get_customer_by_phone(number); confirm identity via name + DOB.
2. get_line_status(line_id) → "active"; get_network_status(region) → "operational" (rules out account suspension and network outage).
3. Follow the "data down / voice up" branch: user confirms Airplane Mode is OFF, then agent instructs the user to switch "Mobile Data" ON.
4. Verify data is restored; apply NO billing credit (policy forbids a fee/credit for a self-service fix).
Resolution → user enables Mobile Data; connectivity restored, account state unchanged.
Explicação
Como voz e SMS funcionam enquanto os dados estão fora numa linha active e sem queda de rede, a falha é do dispositivo, então a árvore de diagnóstico da política a resolve orientando o usuário a reativar o Mobile Data (e proíbe qualquer crédito de cortesia por uma correção feita pelo próprio usuário). O τ²-bench atribui uma recompensa por tarefa (0/1) verificando se o ambiente/banco de dados chega ao estado final esperado e se todas as ações exigidas e as informações comunicadas estão presentes, e então reporta a confiabilidade em tentativas repetidas pela métrica pass^k.