Проект llama.cpp выпустил сборку b10232, которая добавляет поддержку гиперсвязей DeepSeek V4 через бэкенд Metal. Это обновление включает реализацию операций GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE и GGML_OP_DSV4_HC_POST.
- Новые ядра используют оптимизации регистра SIMDgroup и перемешивания.
- Была добавлена инфраструктура диспетчеризации Metal для поддержки производственных значений итераций Sinkhorn и ширин встраиваний.
- Предварительно собранные бинарные файлы доступны для macOS (Apple Silicon и Intel), iOS, Linux, Windows, Android и openEuler на различных аппаратных бэкендах, включая CPU, CUDA, ROCm, Vulkan и OpenVINO.
Это обновление позволяет эффективно выполнять вывод моделей DeepSeek V4 на устройствах Apple Silicon с использованием фреймворка Metal.