Разработчик опубликовал детали кастомного движка attention-transformer, созданного с использованием Rust и CUDA, с акцентом на детерминизм и энергоэффективность. Система поддерживает как инференс, так и обучение в едином стеке и работает на нескольких аппаратных бэкендах, включая H100, M2 Pro, потребительские GPU и WebGPU.

  • Пропускная способность достигает примерно 403 токенов/секунду на H100 NVL с 28-слойным стеком класса 7B с использованием непрерывного батчинга.
  • Потребление энергии составляет 0.63 Дж/токен при медианной мощности платы ~254 Вт.
  • Движок битово точен, проверен AUDIT и использует техники GAE, ATE, WNSM и обратимого обучения.

Полные бенчмарки и методы доступны на сайте разработчика; выпуск с открытым исходным кодом запланирован после выдачи патента в этом месяце по двойной лицензии.