llama.cpp b10034 исключает Adreno A7x из MoE-ядер для предотвращения повреждения весов

Релиз llama.cpp b10034 устраняет критическую проблему, при которой компиляторы для устройств Adreno A7x некорректно обрабатывают repack-ядра, что приводит к повреждению весов и получению мусорного вывода в моделях Mixture of Experts (MoE). Для решения этой проблемы обновление исключает устройства Adreno A7x из использования этих конкретных MoE-ядер.

• Исключает Adreno A7x из использования MoE-ядер Adreno из-за проблем с некорректной компиляцией.
• Также исключает A6x и неизвестные GPU Adreno из repack весов MoE для обеспечения стабильности.
• Отключает поддержку KleidiAI для сборок macOS Apple Silicon.
• Предоставляет бинарные файлы для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и openEuler.

Это изменение предотвращает повреждение вывода модели на затронутом оборудовании Adreno, обеспечивая надежный инференс для пользователей с этими GPU.