Un usuario en los foros de Hugging Face propone un experimento de transferencia progresiva de conocimiento, donde un modelo estudiante de tamaño fijo (Qwen 4B) aprende secuencialmente de maestros cada vez más grandes en lugar de hacerlo directamente desde el más grande disponible.
- El proceso implica que el modelo de 4B aprenda de Qwen 8B o 9B, luego descarte ese maestro para aprender de Qwen 12B, y posteriormente de Qwen 27B.
- Este enfoque imita el aprendizaje humano al basarse en conocimientos previamente adquiridos en lugar de intentar salvar una gran brecha de capacidad en un solo paso.
- La propuesta sugiere utilizar un método similar al proyecto Heretic, empleando una estrategia de "búsqueda y refuerzo" para identificar y añadir capacidades útiles mientras se evita el redescubrimiento de rasgos ya aprendidos.
- El éxito se mediría por si el modelo de tamaño fijo mejora de manera medible y preserva las ganancias anteriores, ofreciendo una visión sobre la capacidad práctica de conocimiento de los modelos pequeños.
El autor sugiere que este método podría determinar si la acumulación gradual del conocimiento es más efectiva que la destilación directa desde el maestro más grande para los modelos pequeños.