Pesquisadores da Universidade Tsinghua e do Ant Group apresentam o IFEval++, um benchmark projetado para avaliar a "confiabilidade orientada à nuance" em modelos de linguagem grandes, revelando que os modelos atuais têm dificuldades significativas com variações sutis nos prompts, apesar de obterem pontuações altas em benchmarks padrão.
- O estudo define "prompts primos" como entradas que transmitem intenções semelhantes, mas diferem na formulação ou no contexto, e propõe a métrica reliable@k para quantificar a consistência entre eles.
- O IFEval++ consiste em 541 casos de teste, cada um contendo 10 prompts primos gerados por meio de um pipeline automatizado que utiliza reformulação, adição de elementos distratores e reconfiguração da tarefa.
- As avaliações de 20 modelos proprietários e 26 de código aberto mostram quedas de desempenho de até 61,8% para Qwen3-0.6B e 54,7% para GPT-3.5-turbo-1106 ao passar da precisão padrão do IFEval para reliable@10 no IFEval++.
- Mesmo o modelo mais confiável, GPT-5, experimentou uma queda de 18,3% na confiabilidade sob condições sutis.
- Os autores identificam o escalonamento paralelo no tempo de teste por meio de amostragem por rejeição como o método de melhoria mais eficaz, permitindo que modelos mais fracos, como Qwen3-4B, superem modelos mais fortes, como LLaMA-3.3-70B-Instruct.
As descobertas destacam a confiabilidade orientada à nuance como uma lacuna crítica nas capacidades atuais dos modelos de linguagem grandes e um passo necessário para construir sistemas de IA mais confiáveis e dignos de confiança.