El muestreador de retroceso y verificador mejoran drásticamente el rendimiento de codificación de modelos pequeños
Un nuevo muestreador de retroceso combinado con un modelo verificador mejora significativamente el rendimiento de codificación de modelos pequeños de 0.5B parámetros, potencialmente haciéndolos competitivos con modelos de la clase mayor de 2-4B sin cambios en los pesos. El enfoque aborda teóricamente los problemas de alucinación en modelos grandes corrigiendo errores durante la generación mediante remuestreo. Sin embargo, este método incurre en una penalización de velocidad de decodificación del 5-30% debido a la necesidad de pasadas hacia atrás y requiere entrenar un modelo verificador de tamaño similar al original. Este requisito duplica el uso de VRAM y aumenta las demandas de cómputo entre 1.5 y 3 veces en comparación con la inferencia estándar. A pesar de estos costos, el verificador se generaliza a través de modelos de clases de peso iguales o inferiores si se entrena con distribuciones de datos diversas. Entrenar el verificador es altamente eficiente, requiriendo solo aproximadamente el 0.01% del tamaño de tokens utilizado para el preentrenamiento completo.