В данном исследовании проводится бенчмарк традиционных методов машинного обучения против легковесных архитектур трансформеров для бинарного обнаружения неисправностей на трех публичных наборах данных, оцениваются компромиссы между точностью, размером модели и задержкой. Исследование оценивает классификационную производительность с использованием F1-меры и AUC, а также тестирует динамическое квантование INT8 и двухэтапный адаптивный конвейер вывода для оптимизации развертывания на оборудовании с ограниченными ресурсами.

  • Легковесные трансформеры достигли 87.8% F1 на наборе данных C-MAPSS, сопоставимого с традиционным ML, но потребовали размера модели в 100 раз больше и задержки в 9000 раз.
  • TinyBERT-4L был определен как наиболее удобный для развертывания трансформер, с размером 55 МБ и задержкой CPU 18 мс.
  • Квантование INT8 уменьшило размер модели на 25%, сохранив F1-меру на уровне 86.9%.
  • Адаптивный конвейер вывода достиг 87.6% F1 при средней задержке 19.5 мс, маршрутизируя 97.9% предсказаний через квантованную модель сортировки.
  • Как традиционные методы, так и трансформеры значительно страдали на сильно несбалансированных наборах данных, таких как SECOM и UCI-PM, что подчеркивает ограничения для экстремального дисбаланса классов.

Полученные результаты предоставляют критически важные сведения для развертывания систем обнаружения неисправностей на периферийных устройствах, демонстрируя, что, хотя легковесные трансформеры могут достигать точности традиционных методов, требуется значительная оптимизация для снижения их высоких затрат ресурсов.