Pull request, поданный AINekko и участниками сообщества AIFoundry, представляет начальный бэкенд для движка вывода llama.cpp, обеспечивающий поддержку процессора Esperanto Technologies ET-SOC-1. Автор вклада стремится интегрировать аппаратное обеспечение с открытым исходным кодом в экосистему вывода с открытым исходным кодом, передав эти разработки в основной репозиторий.
Процессор ET-SOC-1 изначально был создан компанией Esperanto Technologies, а затем опубликован как программное обеспечение с открытым исходным кодом под лицензией Apache 2.0 пользователем AINekko. Базовый RTL доступен через репозиторий CORE-ET, в то время как SDK и драйверы размещены в репозитории et-platform. Хотя ET-SOC-1 является более старым чипом с низким энергопотреблением и меньшей абсолютной производительностью по сравнению с современными процессорами, он предлагает превосходную производительность на ватт по сравнению с такими устройствами, как машина разработки ARM R7 7700.
Этот вклад облегчает использование аппаратного обеспечения с открытым исходным кодом для запуска больших языковых моделей в рамках llama.cpp.