Un utilisateur de Reddit a écrit un inférenceur GGUF à partir de zéro spécifiquement pour le langage de programmation R. L'auteur note que l'implémentation est extrêmement peu pratique, prenant 60 secondes par token, et a été créée principalement pour comprendre comment fonctionne l'architecture du modèle.
- Le projet sert d'outil éducatif plutôt que de solution prête pour la production.
- L'auteur reconnaît que des outils existants comme llamacpp couvrent déjà efficacement la plupart des cas d'utilisation.
- Un article détaillant l'implémentation est disponible sur le blog de l'auteur.