Los investigadores proponen Reinforcement Learning for Selection Reward (RLSR), un marco novedoso que alinea los modelos de lenguaje grandes durante el post-entrenamiento para optimizar el rendimiento de la predicción selectiva. A diferencia de los métodos existentes centrados en la corrección o calibración, RLSR tiene como objetivo su área bajo la curva de riesgo-cobertura (AURC) como su objetivo de alineación.

  • El método permite a los LLM predecir solo para entradas donde es probable que sean correctos, reduciendo las tasas de error y señalando casos inciertos para revisión humana.
  • RLSR logra un equilibrio riesgo-cobertura sustancialmente mejor en comparación con múltiples líneas base de alineación tanto en tareas dentro del dominio como fuera de él.

Este enfoque mejora la confiabilidad de los LLM equilibrando el intercambio riesgo-cobertura y habilitando una colaboración perfecta entre humano e IA en sistemas de toma de decisiones de alto riesgo.