Исследователи предлагают Лагранжеву компенсацию вознаграждения (LARA), фреймворк для управления замороженными языковыми моделями во время декодирования при явных ограничениях безопасности без повторного обновления весов. LARA дуализирует ограничение, сводя оптимизацию к одномерной выпуклой задаче, и формирует компенсированное вознаграждение, которое служит готовым сигналом оценки для существующих методов.
- Метод основан на ограниченной цели с регуляризацией KL, использующей модели вознаграждения и стоимости.
- Он оценивает дуальную переменную на небольшой калибровочной выборке для определения компенсированного вознаграждения.
- Для попоследовательностной выборки, такой как Best-of-N reranking, переменная решает задачу с ограничением на ожидаемую стоимость.
- Для токенового декодирования она обеспечивает принципиально обоснованную дуальную калиброванную эвристику.
LARA улучшает компромисс между полезностью и безопасностью, при этом производительность Best-of-N приближается к базовым методам прямого выравнивания на основе дообучения.