В статье представлен DiARC — метод, улучшающий способности к абстрактному рассуждению больших языковых моделей за счёт включения обучения с использованием отрицательных примеров наряду с положительными. Этот подход решает ограничения существующих методов, которые сильно полагаются на аугментацию данных или дорогие закрытые модели.
- Авторы предлагают конструировать пары предпочтений, чтобы модели могли различать правильные и неправильные решения.
- Для генерации отрицательных примеров используются три конкретных метода: визуальные преобразования на уровне вывода, инверсия правил на уровне DSL и редактирование правил, специфичных для задачи.
- Эти отрицательные примеры служат информативными альтернативами, близкими к правильным ответам, сохраняя при этом исходные наблюдаемые демонстрации.
- Экспериментальные результаты на нескольких бенчмарках в стиле ARC показывают, что DiARC стабильно превосходит базовые модели.
Используя выравнивание предпочтений через отрицательные примеры, этот метод предлагает экономически эффективный способ повышения качества рассуждений без опоры на дорогие закрытые модели.