Проект llama.cpp выпустил версию b9915, которая вводит поддержку операций CPU f16-to-f16 GGML_OP_SET_ROWS. Это обновление также включает недостающие проверки типов для этой операции и объединяет функции прямого вычисления f32 и f16 в единую реализацию.
- ggml добавляет поддержку CPU f16->f16 GGML_OP_SET_ROWS с дополнительными проверками типов
- ggml_compute_forward_set_rows_f32() и ggml_compute_forward_set_rows_f16() объединены в ggml_compute_forward_set_rows_impl()
- Утверждения заменены на GGML_ASSERT()
- Предоставлены бинарные файлы macOS Apple Silicon (arm64), macOS Intel (x64) и iOS XCFramework
- Сборки Linux включают Ubuntu x64, arm64, s390x CPU, Vulkan, ROCm 7.2, OpenVINO и варианты SYCL FP32/FP16
- Доступны бинарные файлы Android arm64 (CPU)
- Сборки Windows охватывают процессоры x64 и arm64, OpenCL Adreno, CUDA 12.4 и 13.3, Vulkan, OpenVINO, SYCL и HIP
- openEuler поддерживает x86 и aarch64 с ACL Graph для чипов 910b
Это обновление предоставляет обновленные бинарные файлы для нескольких платформ и аппаратных ускорителей для пользователей, которым требуется новая функциональность set rows.