Проект llama.cpp выпустил версию b11157, добавляющую поддержку операций 3D-свертки с использованием неявного GEMM на CUDA. Это обновление улучшает реализацию для обработки пустых ядер и доступно на широком спектре платформ, включая macOS, Linux, Windows, Android и iOS.

  • Добавляет conv3d с неявным GEMM для бэкендов CUDA.
  • Уточняет логику неявного GEMM для conv3d для корректной обработки пустых ядер.
  • Предоставляет бинарные файлы для CPU, Vulkan, ROCm, OpenVINO, SYCL и Snapdragon на Linux и Windows.
  • Включает сборки для macOS Apple Silicon (arm64), macOS Intel (x64) и iOS XCFramework.
  • Предлагает сборки Android arm64 с поддержкой CPU, GPU Adreno и NPU Hexagon.

Это расширение расширяет возможности аппаратного ускорения библиотеки, позволяя выполнять операции 3D-свертки на графических процессорах NVIDIA.