Clark Labs выпустила сжатую версию трансформатора для генерации изображений по тексту Sana 1.6B, квантованного до тернарных весов примерно по 1,85 бита на вес. Это сжатие приводит к тому, что модель в 8,6 раза меньше стандартной версии FP16, сохраняя качество, близкое к FP16.
- Размер упакованной модели составляет 374 МБ по сравнению со справочным трансформатором FP16 размером 3,21 ГБ.
- Веса квантованы до тернарных значений с групповыми масштабами, сохраняя небольшой хвост высокой точности примерно из 5% параметров для слоев условной обработки и проекции.
- Предоставлена распакованная версия в виде деquantизированных весов bf16 для обеспечения совместимости по принципу «подключи и работай» с библиотекой diffusers.
Этот релиз позволяет пользователям развертывать высококачественную генерацию изображений по тексту с существенно уменьшенным потреблением памяти, что облегчает локальный инференс.