Автор создал eqx-zoo — библиотеку, которая загружает чекпоинты с Hugging Face Hub непосредственно в виде обычных модулей Equinox и проверяет каждую модель против библиотеки transformers. В настоящее время проект поддерживает Llama, Qwen2, Qwen3, Qwen3-MoE для генерации, а также BERT, RoBERTa, XLM-RoBERTa для эмбеддингов.

  • Проверка гарантирует, что выходы float32 совпадают с transformers слой за слоем, а жадная генерация точно воспроизводит токены.
  • Автор обнаружил, что прямое сравнение реализаций bf16 некорректно из-за различий в округлении, что требует сравнения относительно float32 по отношению к ошибке исходника.
  • Выявлено, что JIT-компиляция декодера в XXL оказывается заметно менее точной по сравнению с eager execution, тогда как у энкодеров такой проблемы нет.
  • Тонкий баг LayerNorm в bf16 обнаруживается только на уровне блоков, что подчеркивает необходимость гранулярного тестирования.

Проверенные чекпоинты доступны в коллекции Hugging Face, а библиотека устанавливается через pip.