Benchmark · general
IFEval
IFEval (Instruction-Following Eval) mesure la fiabilité avec laquelle un modèle de langage respecte des instructions explicites de mise en forme et de contrainte vérifiables par une machine, comme des règles de longueur ou de format. Le score est le pourcentage de ces instructions vérifiables que le modèle satisfait réellement.
En savoir plus
- Exemple
- Une consigne du type « Rédige un résumé en exactement 3 puces et sans utiliser la moindre virgule » : le modèle doit produire une réponse qui respecte chaque contrainte énoncée.
- Notation
- Chaque réponse est vérifiée automatiquement au regard de ses contraintes vérifiables (nombre de puces, nombre de mots, caractères interdits, mots-clés obligatoires, casse, etc.), et le score est le pourcentage respecté, rapporté au niveau de l'instruction et au niveau de l'invite entière (toutes les contraintes respectées).
- Vérification
- La vérification est entièrement automatique : un petit programme déterministe teste chaque contrainte (par exemple compter les puces ou repérer les virgules), sans aucun jugement humain ni notation par un autre LLM.
- Pourquoi c'est important
- Il sépare la capacité d'un modèle à suivre des instructions précises de l'exactitude factuelle de sa réponse, ce qui compte car respecter de façon fiable la mise en forme et les contraintes est ce qui rend les modèles utilisables dans de vraies applications et des pipelines automatisés.
Exemple résolu
Tâche
Rédige un court conseil pour rester productif en télétravail, en exactement deux paragraphes. Écris toute ta réponse en minuscules lowercase (les majuscules sont interdites) et n'utilise aucune virgule où que ce soit. Termine ta réponse par la phrase exacte : 'that is all.'
Solution
working from home rewards a bit of structure so pick three goals each morning and give every goal its own block of time on your calendar. put your phone in another room and take a short walk between blocks to reset your attention.
a clear desk and a fixed start time help your brain shift into work mode fast. stop at a set hour and celebrate one finished task so you never drift toward burnout. that is all.
Explication
La réponse respecte chaque contrainte vérifiable : exactement deux paragraphes, aucune majuscule, zéro virgule et la phrase finale exacte. IFEval évalue chaque instruction avec un vérificateur Python déterministe et rapporte la précision stricte/souple au niveau de l'instruction comme au niveau du prompt entier (un prompt ne compte que si toutes ses instructions passent).