Проект llama.cpp выпустил сборку b10709, которая устраняет критическую проблему в подсистеме RPC, касающуюся обработки тензорных буферов при межсерверном взаимодействии.

  • Основное изменение предотвращает сериализацию буферов, принадлежащих другим серверам, путем включения указателей на удаленные буферы только тогда, когда буфер принадлежит диспетчеру RPC, получающему граф.
  • Добавлен регрессионный тест для двух серверов для проверки корректности поведения при межсерверной сериализации тензоров.
  • Предварительно собранные бинарные файлы доступны для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android и iOS.

Это исправление обеспечивает целостность данных в распределенных конфигурациях вывода, предотвращая некорректный обмен буферами между различными серверами RPC.