Des chercheurs de l'Université Tsinghua et d'Ant Group présentent IFEval++, un benchmark conçu pour évaluer la « fiabilité orientée nuances » des grands modèles de langage, révélant que les modèles actuels éprouvent des difficultés significatives avec les variations subtiles des invites malgré des scores élevés aux benchmarks standards.
- L'étude définit les « invites cousines » comme des entrées transmettant des intentions similaires mais différant par la formulation ou le contexte, et propose la métrique reliable@k pour quantifier la cohérence entre elles.
- IFEval++ comprend 541 cas de test, chacun contenant 10 invites cousines générées via un pipeline automatisé utilisant la reformulation, l'ajout de distracteurs et la reconfiguration des tâches.
- Les évaluations de 20 modèles propriétaires et 26 modèles open-source montrent des baisses de performance allant jusqu'à 61,8 % pour Qwen3-0.6B et 54,7 % pour GPT-3.5-turbo-1106 lors du passage de la précision standard IFEval à reliable@10 sur IFEval++.
- Même le modèle le plus fiable, GPT-5, a connu une diminution de 18,3 % de sa fiabilité dans des conditions nuancées.
- Les auteurs identifient l'échelle parallèle au moment du test via l'échantillonnage par rejet comme la méthode d'amélioration la plus efficace, permettant à des modèles plus faibles comme Qwen3-4B de surpasser des modèles plus puissants comme LLaMA-3.3-70B-Instruct.
Les résultats mettent en évidence la fiabilité orientée nuances comme un écart critique dans les capacités actuelles des LLM et une étape nécessaire pour construire des systèmes d'IA plus fiables et dignes de confiance.