Проект llama.cpp выпустил сборку b11060, которая включает исправление для модели Mamba, чтобы обеспечить непрерывность входных данных проекции временного шага. Это изменение устраняет проблемы с расположением памяти в реализации Mamba.

  • Модуль Mamba теперь делает входные данные проекции временного шага непрерывными, чтобы предотвратить ошибки.
  • Последующая оптимизация пропускает операцию копирования непрерывных данных после нормализации в пути Mamba.
  • Релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android и openEuler.

Это обновление обеспечивает стабильность для моделей на основе Mamba, сохраняя при этом широкую поддержку оборудования в экосистеме llama.cpp.