Un chercheur qui partage son travail exploratoire sur la distillation de connaissances basée sur les logits demande à la communauté des expériences industrielles réelles et des insights d'ingénierie.

  • L'auteur a expérimenté avec des architectures ResNet, la quantification et 90% de pruning sur CIFAR-10/100 pour comprendre la sélection des hyperparamètres et les impacts architecturaux.
  • Il cherche des détails sur les contextes de problèmes qui ont conduit à l'utilisation de la distillation, les approches spécifiques prises et les difficultés non évidentes rencontrées.
  • La demande se concentre sur les compromis inattendus et les situations où une meilleure compréhension du processus de distillation était nécessaire.

L'objectif est de combler le fossé entre l'exploration académique et l'application industrielle pratique en rassemblant des exemples concrets de défis d'ingénierie.