Una solicitud de extracción presentada por AINekko y miembros de la comunidad AIFoundry introduce un backend inicial para el motor de inferencia llama.cpp, habilitando el soporte para el procesador Esperanto Technologies ET-SOC-1. El colaborador tiene como objetivo integrar hardware de código abierto en el ecosistema de inferencia de código abierto mediante la incorporación de este desarrollo.
El procesador ET-SOC-1 fue originalmente creado por Esperanto Technologies y posteriormente liberado como software de código abierto bajo la licencia Apache 2.0 por AINekko. El RTL base está disponible a través del repositorio CORE-ET, mientras que el SDK y los controladores están alojados en el repositorio et-platform. Aunque el ET-SOC-1 es un chip antiguo de bajo consumo con menor rendimiento absoluto que las CPU modernas, ofrece un rendimiento superior por vatio en comparación con dispositivos como la máquina de desarrollo ARM R7 7700.
Esta contribución facilita el uso de hardware de código abierto para ejecutar modelos de lenguaje grandes dentro del marco llama.cpp.