Seorang kontributor sedang menyiapkan permintaan tarik (pull request) untuk menambahkan dukungan upstream bagi keluarga model Gemma 4 ke Hugging Face, bersamaan dengan optimasi untuk pelacakan ekspor ONNX. Perubahan tersebut mengatasi keterbatasan spesifik arsitektur selama pelacakan ONNX dan memperbaiki perhitungan lapisan untuk varian model heterogen, termasuk konfigurasi Mixture of Experts (MoE) dan Dense.
- Formulasi RMSNorm diselaraskan kembali untuk menggunakan perkalian skala gaya Llama standar bagi Gemma 4, dengan properti gerbang untuk mencegah kesalahan penskalaan aktivasi.
- Kompatibilitas pelacakan ONNX untuk Grouped Query Attention (GQA) dan perhatian MoE ditingkatkan dengan mengganti torch.histc menjadi torch.bincount untuk memungkinkan serialisasi grafik di bawah ONNX Opset 17.
- Pengaman pemanggangan tensor simbolis ditambahkan untuk mencegah kegagalan kompilasi JIT saat memproses tensor skalar simbolis selama pelacakan ekspor dinamis.
- Konsolidasi shard yang sadar penyimpanan mencegah pola partisi file patologis dalam konfigurasi MoE dengan menggabungkan penyimpanan parameter bersama ke dalam buffer biner kontigu 1GB.
- Resolusi atribut tokenizer yang kuat diimplementasikan melalui pencarian hierarki kelas MRO untuk mencegah pengecualian AttributeError pada subclass tokenizer kustom.
Paket yang diperbarui telah diverifikasi secara lokal, dengan arsitektur model inti berhasil dimuat dan dikompilasi dengan benar. Kompatibilitas mundur dikonfirmasi dengan lulus 157 kasus uji (dan 1.157 subuji) dari suite pengujian pemodelan PyTorch gemma2.