Pesquisadores propõem o Reinforcement Learning for Selection Reward (RLSR), um novo framework que alinha grandes modelos de linguagem durante o pós-treinamento para otimizar o desempenho da previsão seletiva. Diferente dos métodos existentes focados em correção ou calibração, o RLSR tem como objetivo a área sob a curva de risco-cobertura (AURC) como seu objetivo de alinhamento.
- O método permite que LLMs prevejam apenas para entradas onde é provável que estejam corretos, reduzindo as taxas de erro e sinalizando casos incertos para revisão humana.
- O RLSR alcança uma troca risco-cobertura substancialmente melhor em comparação com múltiplas linhas de base de alinhamento tanto em tarefas dentro do domínio quanto fora dele.
Esta abordagem melhora a confiabilidade dos LLMs equilibrando a troca risco-cobertura e permitindo uma colaboração perfeita entre humano e IA em sistemas de tomada de decisão de alto risco.