로짓 기반 지식 증류에 대한 탐색적 작업을 공유하는 연구자가 커뮤니티로부터 현실 세계의 산업 경험과 엔지니어링 통찰력을 요청하고 있습니다.

  • 저자는 CIFAR-10/100에서 ResNet 아키텍처, 양자화 및 90% 가지치기를 실험하여 하이퍼파라미터 선택과 아키텍처 영향을 이해하려고 했습니다.
  • 증류 사용으로 이어진 문제 맥락, 취해진 구체적인 접근 방식 및 비명확한 어려움에 대한 세부 정보를 찾고 있습니다.
  • 요청은 예상치 못한 트레이드오프와 증류 과정에 대한 더 많은 통찰력이 필요했던 상황에 초점을 맞추고 있습니다.

목표는 엔지니어링 과제의 구체적인 예시를 수집하여 학술적 탐색과 실용적인 산업 응용 사이의 격차를 해소하는 것입니다.