한 기여자가 Hugging Face에 Gemma 4 모델 계열을 위한 업스트림 지원을 추가하고, ONNX 내보내기 트레이싱을 위한 최적화를 준비하고 있습니다. 이 변경사항은 ONNX 트레이싱 중 아키텍처별 제한 사항을 해결하고, Mixture of Experts (MoE) 및 Dense 구성을 포함한 이종 모델 변형에 대한 레이어 계산을 수정합니다.

  • RMSNorm 공식을 Gemma 4를 위해 표준 Llama 스타일 스케일 곱셈을 사용하도록 재조정하며, 활성화 스케일링 오류를 방지하기 위한 게이트드 속성을 포함합니다.
  • Grouped Query Attention (GQA) 및 MoE 어텐션에 대한 ONNX 트레이싱 호환성을 torch.histc 대신 torch.bincount를 사용하여 개선함으로써 ONNX Opset 17 하에서 그래프 직렬화를 가능하게 합니다.
  • 동적 내보내기 트레이싱 중 심볼릭 스칼라 텐서를 처리할 때 JIT 컴파일 실패를 방지하기 위해 심볼릭 텐서 캐스팅 안전장치가 추가됩니다.
  • 저장소 인식 샤드 통합은 공유 파라미터 저장을 연속적인 1GB 바이너리 버퍼로 통합하여 MoE 구성에서 병리적 파일 샤딩 패턴을 방지합니다.
  • MRO 클래스 계층 조회를 통해 견고한 토크나이저 속성 해결이 구현되어 사용자 정의 토크나이저 하위 클래스에서 AttributeError 예외를 방지합니다.

업데이트된 패키지는 로컬로 검증되었으며, 핵심 모델 아키텍처가 올바르게 로드되고 컴파일되었습니다. gemma2 PyTorch 모델링 테스트 스위트의 157개 테스트 케이스(및 1,157개 하위 테스트)를 통과함으로써 후방 호환성이 확인되었습니다.