Un contribuidor está preparando una solicitud de extracción (pull request) para añadir soporte upstream para la familia de modelos Gemma 4 a Hugging Face, junto con optimizaciones para el trazado de exportación ONNX. Los cambios abordan limitaciones específicas de la arquitectura durante el trazado ONNX y corrigen los cálculos de capa para variantes de modelo heterogéneas, incluidas configuraciones de Mezcla de Expertos (MoE) y Denso.
- La formulación RMSNorm se realinea para usar multiplicación por escala estilo Llama estándar para Gemma 4, con una propiedad de compuerta para prevenir errores de escalado de activación.
- Se mejora la compatibilidad de trazado ONNX para Atención de Consulta Agrupada (GQA) y atención MoE reemplazando torch.histc con torch.bincount para habilitar la serialización del gráfico bajo ONNX Opset 17.
- Se añaden salvaguardas de conversión simbólica de tensores para prevenir fallos de compilación JIT al procesar tensores escalares simbólicos durante el trazado de exportación dinámica.
- La consolidación consciente del almacenamiento evita patrones de fragmentación de archivos patológicos en configuraciones MoE consolidando el almacenamiento de parámetros compartidos en búferes binarios contiguos de 1GB.
- Se implementa una resolución robusta de atributos del tokenizador mediante búsqueda en la jerarquía de clases MRO para prevenir excepciones AttributeError en subclases de tokenizador personalizadas.
El paquete actualizado ha sido verificado localmente, con las arquitecturas de modelo principales cargándose y compilándose correctamente. La compatibilidad hacia atrás se confirmó al pasar 157 casos de prueba (y 1.157 subpruebas) del conjunto de pruebas de modelado PyTorch gemma2.