Janas-LLM adalah C-based, GPL-3.0 inference engine baru yang dirancang untuk menjalankan model Mixture-of-Experts yang lebih besar dari RAM pada mesin Linux biasa tanpa GPU dengan streaming ahli dari SSD.
Pengembang meminta pengujian komunitas untuk menyetel kinerja di berbagai konfigurasi perangkat keras, khususnya menargetkan AMD CPUs, prosesor Intel tanpa AVX-VNNI, sistem dengan 16 GB atau kurang memori, dan SATA SSDs. Skrip yang disediakan mengotomatisasi pembangunan engine, mengunduh model Qwen, memverifikasi hasil aritmatika bit-identical, mengukur kecepatan pada mesin idle, dan melaporkan temuan melalui GitHub issues.
Upaya ini bertujuan untuk meningkatkan self-tuning capabilities engine untuk thread, penggunaan GPU, dan strategi pemuatan ahli di berbagai perangkat keras yang lebih luas daripada mesin uji tunggal pengembang.