Um usuário nos fóruns da Hugging Face propõe um experimento em transferência de conhecimento progressiva, onde um modelo estudante de tamanho fixo (Qwen 4B) aprende sequencialmente a partir de modelos professores cada vez maiores, em vez de diretamente do maior disponível.
- O processo envolve o modelo 4B aprendendo com Qwen 8B ou 9B, depois descartando esse professor para aprender com Qwen 12B, e subsequentemente com Qwen 27B.
- Essa abordagem imita o aprendizado humano ao construir sobre o conhecimento previamente adquirido em vez de tentar superar uma grande lacapa de capacidade em um único passo.
- A proposta sugere usar um método semelhante ao do projeto Heretic, empregando uma estratégia de "busca e reforço" para identificar e adicionar capacidades úteis enquanto evita a redescoberta de características já aprendidas.
- O sucesso seria medido pela melhoria mensurável do modelo de tamanho fixo e pela preservação dos ganhos anteriores, oferecendo insights sobre a capacidade prática de conhecimento de modelos pequenos.
O autor sugere que esse método poderia determinar se o acúmulo gradual de conhecimento é mais eficaz do que a destilação direta do maior professor para modelos pequenos.