В этой статье представлены мониторы на основе механизма, предназначенные для обнаружения нестабильности обучения больших языковых моделей до того, как она нанесет значительный ущерб. За счет извлечения внутренних сигналов из функциональных ролей критических модулей эти мониторы выявляют сбои за тысячи шагов раньше, чем традиционные методы, основанные на функции потерь.
- Для flash-внимания с низкой точностью метод контролирует спектральную энтропию билинейного разложения QK, которая становится аномальной до полного коллапса функции потерь.
- Индикаторы для маршрутизаторов Mixture-of-Experts (MoE) выводятся из их конкретной роли в выборе экспертов.
- Эксперименты с инъекцией отказов для внимания с низкой точностью, больших скоростей обучения и комбинированных сбоев демонстрируют, что эти сигналы обеспечивают различные сигнатуры для разных типов сбоев.
Эти мониторы позволяют осуществлять превентивное обнаружение числовых ошибок или ошибок в гиперпараметрах, пока функции потерь и нормы градиентов все еще выглядят нормально, что потенциально может сэкономить огромные вычислительные ресурсы.