Разработчик выпустил реализацию на чистом C для движка вывода, специально предназначенного для моделей Qwen 3 размером 4B и менее. Проект доступен на GitHub в качестве учебного ресурса, который ставит во главу угла читаемость кода и образовательную ценность, а не сырую производительность.
- Написан с нуля на чистом C без внешних зависимостей, кроме libc, libm, cJSON и опционального OpenMP.
- Загружает HF safetensors напрямую и выполняет 4-битную аффинную квантование на лету без преобразования весов.
- Реализует KV-кэширование и включает встроенный терминальный чат-интерфейс.
- Достигает примерно 1 токена в секунду на ноутбуке i5-1240P, отдавая приоритет ясности над скоростью.
Движок служит образовательным инструментом для понимания архитектуры трансформеров и механики вывода, предлагая доступную альтернативу плотным высокопроизводительным реализациям.