Проект llama.cpp выпустил сборку b10653, внедряющую функцию TENSOR_READ_LAZY в загрузчик моделей. Это изменение включает добавление функции TENSOR_GET_ROW_LAZY и соответствующего флага командной строки --tensor-read-lazy.

  • Добавлены TENSOR_READ_LAZY и TENSOR_GET_ROW_LAZY в загрузчик моделей.
  • Введена опция CLI --tensor-read-lazy для включения ленивого чтения тензоров.
  • Предоставлены бинарные файлы для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android и iOS.

Это обновление ядра библиотеки с новыми возможностями ленивой загрузки сопровождается распространением предварительно собранных бинарных файлов по всем поддерживаемым платформам.