El artículo presenta DiARC, un método que mejora las capacidades de razonamiento abstracto de los modelos de lenguaje grandes al incorporar supervisión con muestras negativas junto con ejemplos positivos. Este enfoque aborda las limitaciones de los métodos actuales que dependen en gran medida del aumento de datos o de modelos cerrados costosos.
- Los autores proponen construir pares de preferencia para permitir que los modelos distingan entre soluciones correctas e incorrectas.
- Se utilizan tres técnicas específicas para generar muestras negativas: transformaciones visuales a nivel de salida, inversión de reglas a nivel de DSL y edición de reglas específicas de la tarea.
- Estas muestras negativas sirven como alternativas cercanas pero fallidas informativas, mientras se preservan las demostraciones observadas originales.
- Los resultados experimentales en múltiples benchmarks tipo ARC demuestran que DiARC supera consistentemente a los modelos base.
Al aprovechar el alineamiento de preferencias mediante muestras negativas, este método ofrece una manera rentable de mejorar el rendimiento del razonamiento sin depender de costosos modelos cerrados.