llama.cpp b9974 исправляет сбой CUDA при запросе памяти на устройствах без свободной памяти

Проект llama.cpp выпустил сборку b9974, которая включает критическое исправление для сборок CUDA. Обновление предотвращает фатальные сбои, возникающие при запросе библиотекой информации о памяти GPU на устройствах с нулевым или ограниченным доступным объёмом памяти.

• Исправляет сбой в cudaMemGetInfo(), делая ошибку нефатальной и присваивая 0 общему/свободному объёму памяти для затронутого устройства.
• Предотвращает попытку алгоритма fit разместить слои на устройствах без свободной памяти, избегая жёстких сбоев во время запуска или при использовании '-dev none'.
• Доступны сборки macOS Apple Silicon (arm64), в то время как поддержка KleidiAI для этой платформы отключена.
• Предоставлены бинарные файлы Linux для Ubuntu x64 и arm64 (CPU), Vulkan, ROCm 7.2, OpenVINO и SYCL FP32/FP16.
• Включены сборки Android arm64 (CPU).
• Бинарные файлы Windows охватывают CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL и HIP.
• Поддержка openEuler частично отключена, доступны специфические сборки для архитектур x86 и aarch64.

Это изменение гарантирует, что llama.cpp остаётся стабильным на системах, где ресурсы памяти GPU исчерпаны или недоступны, позволяя программному обеспечению корректно обрабатывать такие условия вместо неожиданного завершения работы.