Janas-LLM एक नया C-based, GPL-3.0 inference engine है जो ordinary Linux machines पर GPUs के बिना RAM से बड़े Mixture-of-Experts models को SSD से experts को streaming करके चलाने के लिए डिज़ाइन किया गया है।
डेवलपर विविध hardware configurations across पर प्रदर्शन को ट्यून करने के लिए community testing का अनुरोध कर रहा है, विशेष रूप से AMD CPUs, AVX-VNNI वाले Intel processors, 16 GB या कम memory वाले systems और SATA SSDs को लक्षित कर रहा है। प्रदान किया गया script engine के building, Qwen models downloading, bit-identical arithmetic results verifying, idle machine पर speed measuring और GitHub issues के माध्यम से findings reporting को automate करता है।
यह प्रयास डेवलपर की single test machine की तुलना में अधिक विविध hardware across threads, GPU usage और expert loading strategies के लिए engine की self-tuning capabilities को सुधारने का लक्ष्य रखता है।