Версия llama.cpp b9690 вводит оператор rope_back, реализованный путем повторного использования существующих ядер rope с функцией константы для переключения вращения вперед/назад. В выпуске представлены предварительно скомпилированные бинарники для macOS, Linux, Android, Windows и openEuler на разных архитектурах и вариантах ускорения, включая Vulkan, CUDA, ROCm, OpenVINO и SYCL.
llama.cpp выпускает b9690 с оператором rope_back и бинарниками для разных платформ
Переведено с English → Русский