El proyecto llama.cpp lanzó la versión b9893, introduciendo optimizaciones generales de rendimiento para la descodificación de flash attention en OpenCL. Esta actualización añade núcleos de descodificación flash-attention vectorizados para los formatos de caché KV f16, q8_0 y q4_0, y mejora los núcleos de multiplicación de matrices KQ sin flash-attention.

  • Las operaciones de descodificación DK=512 se descargan a la CPU porque están limitadas por el ancho de banda y son más rápidas allí que en la GPU a medida que aumenta la profundidad.
  • Los núcleos de flash attention de consulta múltiple se compilan en un programa mínimo para evitar que el compilador de Adreno se quede sin memoria en dimensiones mayores.
  • El tamaño de división predeterminado para la descodificación f16-KV se reduce de 2048 a 512 para utilizar mejor los recursos de la GPU en cargas de trabajo de consulta única.
  • Una corrección de fallo aborda una lectura fuera de rango cuando block_n no está establecido para escenarios de descodificación DK=512.

El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler a través de CPU, CUDA, Vulkan, ROCm y otros backends.