llama.cpp प्रोजेक्ट ने Metal प्रदर्शन को बेहतर बनाने के लिए Apple M3 Max, M5, और M5 Pro GPU के लिए तेज़ ध्यान सदिश (fa-vec) ट्यूनिंग रिकॉर्ड जोड़े हैं।

  • Apple M5 के लिए ट्यूनिंग f16 और q8_0 डेटा प्रकारों का उपयोग करके एक M5 मशीन पर उत्पन्न की गई थी।
  • Apple M5 Pro के लिए रिकॉर्ड 20 GPU कोर में F16, Q4_0, और Q8_0 फॉर्मेट्स को कवर करते हैं।
  • M3 Max के लिए समर्थन में कम पावर मोड में 64GB वाले MacBook Pro पर F16 और Q8_0 कॉन्फ़िगरेशन शामिल हैं।

ये अपडेट नई Apple silicon आर्किटेक्चर तक Metal त्वरण क्षमताओं को विस्तारित करते हैं।