Une pull request soumise par AINekko et des membres de la communauté AIFoundry introduit un backend initial pour le moteur d'inférence llama.cpp, permettant la prise en charge du processeur ET-SOC-1 d'Esperanto Technologies. Le contributeur vise à intégrer le matériel open source dans l'écosystème d'inférence open source en amontant ce développement.
Le processeur ET-SOC-1 a été initialement créé par Esperanto Technologies, puis open sourcé sous la licence Apache 2.0 par AINekko. Le RTL de base est disponible via le dépôt CORE-ET, tandis que le SDK et les pilotes sont hébergés dans le dépôt et-platform. Bien que l'ET-SOC-1 soit une puce ancienne à faible consommation avec des performances absolues inférieures aux CPU modernes, il offre de meilleures performances par watt par rapport à des appareils comme la machine de développement ARM R7 7700.
Cette contribution facilite l'utilisation du matériel open source pour exécuter des modèles de langage larges dans le cadre llama.cpp.