AINekkoとAIFoundryコミュニティのメンバーによって提出されたプルリクエストは、Esperanto TechnologiesのET-SOC-1プロセッサのサポートを可能にするllama.cpp推論エンジン用の初期バックエンドを導入します。貢献者は、この開発をアップストリームにマージすることで、オープンソースハードウェアをオープンソース推論エコシステムに統合することを目指しています。

ET-SOC-1プロセッサは元々Esperanto Technologiesによって作成され、その後AINekkoによってApache 2.0ライセンスの下でオープンソース化されました。コアRTLはCORE-ETリポジトリから入手可能で、SDKとドライバーはet-platformリポジトリにホストされています。ET-SOC-1は最新のCPUと比較して絶対性能が低い古い低消費電力チップですが、ARM R7 7700開発マシンなどのデバイスと比較してワットあたりのパフォーマンスに優れています。

この貢献により、llama.cppフレームワーク内で大規模言語モデルを実行するためにオープンソースハードウェアを使用することが容易になります。