RLSR aligne les LLM avec la prédiction sélective via AURC

Les chercheurs proposent Reinforcement Learning for Selection Reward (RLSR), un nouveau cadre qui aligne les grands modèles de langage lors du post-entraînement pour optimiser les performances de prédiction sélective. Contrairement aux méthodes existantes qui se concentrent sur l'exactitude ou la calibration, RLSR cible la surface sous la courbe risque-couverture (AURC) comme objectif d'alignement.

• La méthode permet aux LLM de ne prédire que pour les entrées où ils sont susceptibles d'avoir raison, réduisant ainsi les taux d'erreur et signalant les cas incertains pour examen humain.
• RLSR réalise un compromis risque-couverture substantiellement meilleur par rapport à plusieurs bases d'alignement sur des tâches in-domain et out-of-domain.

Cette approche améliore la fiabilité des LLM en équilibrant le compromis risque-couverture et en permettant une collaboration homme-IA transparente dans les systèmes de prise de décision à hauts enjeux.