Участник готовит pull request для добавления поддержки семейства моделей Gemma 4 в Hugging Face, а также оптимизаций трассировки экспорта ONNX. Изменения устраняют ограничения, специфичные для архитектуры, во время трассировки ONNX, и корректируют вычисления слоёв для гетерогенных вариантов моделей, включая Mixture of Experts (MoE) и плотные конфигурации.

  • Формулировка RMSNorm приведена в соответствие со стандартным умножением на масштаб Llama-style для Gemma 4, с использованием затворного свойства для предотвращения ошибок масштабирования активаций.
  • Совместимость трассировки ONNX для Grouped Query Attention (GQA) и внимания MoE улучшена заменой torch.histc на torch.bincount, что позволяет выполнять сериализацию графа в рамках ONNX Opset 17.
  • Добавлены защитные механизмы символического приведения типов тензоров для предотвращения сбоев JIT-компиляции при обработке символических скалярных тензоров во время динамической трассировки экспорта.
  • Учёт хранилища при консолидации шардов предотвращает патологические шаблоны разделения файлов в конфигурациях MoE путём объединения хранения общих параметров в непрерывные бинарные буферы размером 1 ГБ.
  • Надёжное разрешение атрибутов токенизатора реализовано через поиск по иерархии классов MRO, чтобы предотвратить исключения AttributeError в пользовательских подклассах токенизаторов.

Обновленный пакет был проверен локально: основные архитектуры моделей загружаются и компилируются корректно. Обратная совместимость подтверждена прохождением 157 тестовых случаев (и 1 157 подтестов) из набора тестов моделирования PyTorch для gemma2.