Проект llama.cpp выпустил сборку b10509, которая добавляет поддержку функции `ggml_rope_set_offset` на нескольких аппаратных бэкендах. Это обновление включает реализации CPU, Metal, CUDA и Vulkan для новой операции.
- Добавлены параметры `ggml_rope_set_offset` и реализация ядра CPU.
- Реализована поддержка ядра Metal для новой функциональности смещения rope.
- Включена поддержка CUDA для `ggml_rope_set_offset` при удалении защиты `supports_op`.
- Добавлена поддержка бэкенда Vulkan для `ggml_rope_set_offset` как на Linux, так и на Windows.
- Удалена оптимизация inplace из соответствующих операций.
Релиз предоставляет предварительно скомпилированные двоичные файлы для macOS, iOS, Linux, Android, Windows и openEuler для различных архитектур, включая CPU, GPU и специализированные ускорители, такие как OpenVINO и SYCL.