AINekko와 AIFoundry 커뮤니티 구성원들이 제출한 풀 리퀘스트는 Esperanto Technologies의 ET-SOC-1 프로세서를 지원하기 위한 llama.cpp 추론 엔진의 초기 백엔드를 도입합니다. 기여자는 이 개발을 업스트림에 통합하여 오픈 소스 하드웨어를 오픈 소스 추론 생태계에 통합하는 것을 목표로 하고 있습니다.
ET-SOC-1 프로세서는 원래 Esperanto Technologies에서 제작했으며, 이후 AINekko가 Apache 2.0 라이선스 하에 오픈 소스로 공개했습니다. 핵심 RTL은 CORE-ET 저장소에서 사용할 수 있으며, SDK와 드라이버는 et-platform 저장소에 호스팅되어 있습니다. ET-SOC-1은 최신 CPU보다 절대 성능이 낮은 구형 저전력 칩이지만, ARM R7 7700 개발 머신과 같은 장치 대비 와트당 성능이 우수합니다.
이 기여는 llama.cpp 프레임워크 내에서 대규모 언어 모델을 실행하기 위해 오픈 소스 하드웨어를 사용할 수 있도록 합니다.