一位分享基于logits的知识蒸馏探索性工作的研究人员正在向社区寻求真实的行业经验和工程见解。

  • 作者在CIFAR-10/100上对ResNet架构、量化和90%剪枝进行了实验，以了解超参数选择和架构影响。
  • 他们寻求导致使用蒸馏的问题背景细节、采取的具体方法以及遇到的非显而易见困难。
  • 请求侧重于意想不到的权衡以及需要更多了解蒸馏过程的情况。

目标是通过收集工程挑战的具体实例，弥合学术探索与实际工业应用之间的差距。