저자는 eqx-zoo를 구축했습니다. 이 라이브러리는 Hugging Face Hub 체크포인트를 평범한 Equinox 모듈로 직접 로드하고 각 모델을 transformers 라이브러리 대비 검증합니다. 현재 프로젝트는 생성을 위해 Llama, Qwen2, Qwen3, Qwen3-MoE를 지원하며, 임베딩을 위해 BERT, RoBERTa, XLM-RoBERTa를 지원합니다.

  • 검증을 통해 float32 출력이 transformers와 레이어별로 일치하고 greedy 생성이 토큰을 정확히 재현함을 보장합니다.
  • 저자는 bf16 구현을 직접 비교하는 것이 반올림 차이로 인해 결함이 있음을 발견했으며, 이로 인해 소스 오류 대비 float32에 대한 비교가 필요하게 되었습니다.
  • XXL에서 디코더를 JIT 컴파일하면 eager 실행보다 측정 가능한 정도로 정확도가 낮다는 것을 발견했으며, 인코더는 이 문제를 보이지 않았습니다.
  • bf16의 미묘한 LayerNorm 버그는 블록 수준에서만 감지되었으며, 이는 세분화된 테스트의 필요성을 강조합니다.

검증된 체크포인트는 Hugging Face 컬렉션에서 사용할 수 있으며, 라이브러리는 pip를 통해 설치할 수 있습니다.