Пользователь Reddit с нуля написал GGUF-инференсер специально для языка программирования R. Автор отмечает, что реализация крайне непрактична: занимает 60 секунд на токен, и была создана прежде всего для понимания того, как работает архитектура модели.
- Проект служит образовательным инструментом, а не готовым к продакшену решением.
- Автор признаёт, что существующие инструменты, такие как llamacpp, уже эффективно покрывают большинство сценариев использования.
- Описание реализации доступно в блоге автора.