Le projet llama.cpp a publié la version b9893, introduisant des optimisations générales de performance pour le décodage de l'attention flash OpenCL. Cette mise à jour ajoute des noyaux de décodage d'attention flash vectorisés pour les formats de cache KV f16, q8_0 et q4_0, et améliore les noyaux de multiplication matricielle KQ non-attention flash.

  • Les opérations de décodage DK=512 sont déchargées vers le CPU car elles sont limitées par la bande passante et plus rapides sur le CPU que sur le GPU à mesure que la profondeur augmente.
  • Les noyaux d'attention flash multi-requêtes sont compilés dans un programme minimal pour empêcher le compilateur Adreno de manquer de mémoire aux dimensions plus grandes.
  • La taille de partitionnement par défaut pour le décodage f16-KV est réduite de 2048 à 512 afin de mieux utiliser les ressources GPU sur les charges de travail mono-requête.
  • Une correction de plantage traite une lecture hors limites lorsque block_n n'est pas défini pour les scénarios de décodage DK=512.

La release inclut des binaires pour macOS, Linux, Android, Windows et openEuler sur les backends CPU, CUDA, Vulkan, ROCm et autres.