Qwen выпустила веса с FP8-квантованием для своей модели Qwen3.5-397B-A17B, причинной языковой модели на 397 миллиардов параметров с возможностями зрения, которая активирует только 17 миллиардов параметров на шаг вывода.
Модель использует гибридную архитектуру, сочетающую Gated Delta Networks и разреженное Mixture-of-Experts для обеспечения высокопроизводительного вывода с минимальной задержкой. Она поддерживает нативную длину контекста в 262 144 токенов, расширяемую до 1 010 000, и охватывает 201 язык и диалект.
FP8-квантование использует метод с мелкой гранулярностью размером блока 128, сохраняя метрики производительности, почти идентичные оригинальной модели, при этом снижая требования к ресурсам.