Проект llama.cpp выпустил версию b9941, которая вносит изменение: теперь для индексации используются исключительно времена компиляции, а операции умножения и сложения выполняются всегда.

Этот подход избегает зависимости от оптимизации локальной памяти со стороны компилятора и обходится дешевле, чем выдача операторов управления потоком. В релизе предоставлены бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и openEuler.

Обновление обеспечивает согласованное поведение индексации на всех платформах, одновременно оптимизируя производительность за счет снижения накладных расходов управления потоком.