Пользователь сообщает о предварительных экспериментах по запуску языковых моделей на основе диффузии (dLLMs), в частности LLaDA2.1 и Sumi, на оборудовании Apple Silicon с использованием пользовательского движка, созданного для устройств M1 и M2 Ultra.

  • Базовая установленная пропускная способность составила 4,6–22,2 ток/с на M1 и 32,1–122,6 ток/с на M2 Ultra.
  • В качестве значения по умолчанию была принята равномерная 4-битная квантование, что привело к размеру модели около 9,57 ГБ при низкой частоте неопределенных переворотов.
  • Были протестированы несколько оптимизаций, включая эластичный кэш (отклонено), маскирование нескольких блоков (условно принято) и автоматическую спекуляцию через S2D2 (принято).
  • Голосование TSCV улучшило точность GSM8K на 6–8 процентных пунктов при нулевой нагрузке на ЦП, в то время как кредитное декодирование дало пренебрежимо малые улучшения.
  • Анализ маршрутизации показал, что количество различных экспертов ниже прогнозируемого, а квантование остается необходимым, так как деквантование замедляет производительность.

Автор стремится создать функциональный диффузионный движок для персональных устройств и получить более глубокое понимание того, как работают эти модели.