Новый инструмент QuantCheck подчеркивает, что финальный чекпоинт предварительного обучения может не быть оптимальным выбором для 4-битного квантования, поскольку бенчмарки могут оставаться плоскими, в то время как хрупкость увеличивается. Автор наблюдал эту закономерность на Pythia-160m, где финальный чекпоинт suffered примерно в четыре раза больше повреждений качества, чем более ранний чекпоинт того же качества.
Инструмент доступен в виде однокомандного CLI, который работает с любым набором чекпоинтов Hugging Face, позволяя пользователям исследовать эти проблемы. Автор отмечает, что хотя это измеримый режим, а не универсальный закон, он коррелирует со сжатием ранга среднего обновления глубины.
Пользователям рекомендуется запускать инструмент на своих собственных промежуточных чекпоинтах и сообщать о результатах, включая отрицательные находки, чтобы помочь подтвердить наблюдение для разных семейств моделей.