llama.cpp b10043 добавляет поддержку виртуальных устройств CUDA

Проект llama.cpp выпустил сборку b10043, вносящую поддержку виртуальных устройств CUDA. Это обновление отключает путь NCCL при использовании виртуальных устройств и включает рефакторинг кода, а также описания виртуальных устройств с метками.

• В бэкенд добавлена поддержка виртуальных устройств CUDA.
• Путь связи NCCL отключается при использовании виртуальных устройств.
• Виртуальные устройства теперь имеют метки в описаниях, и добавлены задачи CI для серверов GPUx2.
• Бинарные файлы предоставляются для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и openEuler.

Это обновление позволяет пользователям запускать llama.cpp на системах с виртуальными устройствами CUDA, сохраняя совместимость с широким спектом аппаратных архитектур и операционных систем.