Um contribuidor está preparando um pull request para adicionar suporte upstream da família de modelos Gemma 4 ao Hugging Face, junto com otimizações para rastreamento de exportação ONNX. As alterações abordam limitações específicas da arquitetura durante o rastreamento do ONNX e corrigem cálculos de camada para variantes de modelo heterogêneas, incluindo Mixture of Experts (MoE) e configurações Dense.
- A formulação RMSNorm é realinhada para usar multiplicação de escala padrão estilo Llama para Gemma 4, com uma propriedade gating para prevenir erros de escalonamento de ativação.
- A compatibilidade de rastreamento ONNX para Grouped Query Attention (GQA) e atenção MoE é melhorada substituindo torch.histc por torch.bincount para permitir a serialização do gráfico sob o Opset 17 do ONNX.
- Salvaguardas de conversão simbólica de tensor são adicionadas para prevenir falhas de compilação JIT ao processar tensores escalares simbólicos durante o rastreamento de exportação dinâmica.
- A consolidação de shards consciente do armazenamento evita padrões de fragmentação de arquivos patológicos em configurações MoE, consolidando o armazenamento de parâmetros compartilhados em buffers binários contíguos de 1GB.
- A resolução robusta de atributos do tokenizer é implementada por meio de lookup na hierarquia de classes MRO para prevenir exceções AttributeError em subclasses personalizadas de tokenizer.
O pacote atualizado foi verificado localmente, com as arquiteturas de modelo principais carregando e compilando corretamente. A compatibilidade com versões anteriores foi confirmada ao passar 157 casos de teste (e 1.157 subtestes) do conjunto de testes de modelagem PyTorch gemma2.