あるコントリビューターが、Gemma 4 モデルファミリーのアップストリームサポートを Hugging Face に追加するためのプルリクエストを準備中であり、ONNX エクスポートのトレーシングに関する最適化も同時に行われています。この変更は、ONNX トレーシング中のアーキテクチャ固有の制限に対処し、Mixture of Experts (MoE) や Dense 構成など、異種モデルバリアントのレイヤー計算を修正します。

  • Gemma 4 に対して RMSNorm の定式化が再調整され、Gemma 4 では標準的な Llama スタイルのスケーリング乗算を使用し、活性化スケーリングエラーを防ぐためにゲート付きプロパティが採用されています。
  • Grouped Query Attention (GQA) と MoE アテンションの ONNX トレーシング互換性が改善され、ONNX Opset 17 下でのグラフシリアライズを可能にするため torch.histc が torch.bincount に置き換えられました。
  • ダイナミックエクスポートトレーシング中にシンボリックスカラーテンザルを処理する際の JIT コンパイル失敗を防ぐため、シンボリックテンザルキャストの保護策が追加されました。
  • ストレージ対応シャード統合により、MoE 構成における病理学的なファイルシャディングパターンが防止され、共有パラメータストレージが連続した 1GB のバイナリバッファに統合されます。
  • カスタムトークナイザーサブクラスでの AttributeError 例外を防ぐため、MRO クラス階層ルックアップを通じて堅牢なトークナイザー属性解決が実装されました。

更新されたパッケージはローカルで検証され、コアモデルアーキテクチャが正しく読み込まれコンパイルされていることが確認されました。後方互換性は、gemma2 PyTorch モデルテストスイートからの 157 のテストケース（および 1,157 のサブテスト）に合格することで確認されました。