Benchmark · general
RewardBench
RewardBench est le premier benchmark et classement pour évaluer les modèles de récompense (reward models) utilisés en RLHF ; il mesure la fréquence à laquelle le modèle attribue à la réponse préférée par les humains («chosen») un score supérieur à celui de la réponse rejetée («rejected»), exprimée en exactitude (accuracy).
En savoir plus
- Exemple
- Une invite associée à deux réponses candidates — une préférée et une rejetée — issues de catégories comme le chat général (Chat), le Chat Hard adverse, la sécurité (Safety : refus vs conformité) et le raisonnement (Reasoning : maths/code) ; le modèle doit classer la réponse préférée au-dessus.
- Notation
- La métrique est l'exactitude par paires : la proportion d'exemples où reward(chosen) > reward(rejected). L'exactitude est calculée par invite, moyennée avec pondération au sein de chacune des quatre catégories, puis moyennée entre les catégories en un score global.
- Vérification
- Un élément individuel est compté comme correct uniquement si le modèle attribue une récompense scalaire strictement supérieure à la réponse «chosen» qu'à la «rejected» ; les résultats sont agrégés sur l'ensemble fixe d'environ 2985 éléments et publiés sur le classement public pour une comparaison reproductible.
- Pourquoi c'est important
- Les modèles de récompense guident l'alignement (alignment) en RLHF, mais ont longtemps été évalués seulement de façon indirecte ; RewardBench fournit une mesure directe et reproductible qui révèle les défaillances sur des préférences difficiles, critiques pour la sécurité et de raisonnement.
Exemple résolu
Tâche
Un triplet : Invite — «Expliquez pourquoi le ciel paraît bleu». Chosen — une réponse précise sur la diffusion de Rayleigh des longueurs d'onde plus courtes (bleues). Rejected — une réponse plausible mais incorrecte (par ex. «parce qu'il reflète l'océan»). Le modèle de récompense doit produire un score scalaire pour chaque paire (invite, réponse).
Solution
Compté comme correct si et seulement si r(prompt, chosen) > r(prompt, rejected). L'élément est une «victoire» (win) lorsque la réponse sur la diffusion de Rayleigh (chosen) reçoit la récompense scalaire la plus élevée ; il ajoute 1 au décompte d'exactitude de la catégorie (0 sinon).
Explication
La réponse «chosen» est celle préférée par les humains et factuellement correcte, donc un modèle de récompense bien aligné devrait la classer au-dessus de la réponse «rejected» incorrecte ; la notation est une pure comparaison par paires des deux récompenses scalaires (plus élevée sur chosen = correct), et ces «victoires» sont moyennées avec pondération au sein de la catégorie puis entre catégories.
Aucun score vérifié pour ce benchmark à ce jour.