أصدر مشروع llama.cpp الإصدار b10369، مقدمًا دعمًا لنموذج تحويل النص إلى كلام pocket-tts. يتضمن هذا التحديث تنفيذًا جديدًا للتلافيف المعكوسة باستخدام GEMM وcol2im لتحسين الأداء.

  • ينخفض وقت التوليد لكل إطار بنسبة 80% على CUDA و50% على CPU مقارنة بالتنفيذات السابقة.
  • يطابق المخرجات التنفيذ المرجعي بمعامل ارتباط 0.999994 وعدد إطارات مطابق.
  • تضبط حزم اللغات الآن حشو نهاية الكلام وحشو الأوامر القصيرة عبر مفاتيح mmproj الجديدة.
  • أظهر اختبار نص فرنسي طويل توليدًا ضمن 2% من الوقت المرجعي (22.96 ثانية مقابل 23.44 ثانية).

يسرع التحسين بشكل كبير تركيب الصوت مع الحفاظ على الدقة، ويجب تحويل ملفات mmproj الحالية لحمل مفاتيح التكوين الجديدة.