O projeto llama.cpp lançou a compilação b10709, que aborda um problema crítico no subsistema RPC em relação ao tratamento de buffers de tensores durante a comunicação entre servidores.
- A alteração principal impede a serialização de buffers pertencentes a outros servidores, incluindo apenas ponteiros de buffers remotos quando o buffer pertence ao despachante RPC que recebe o grafo.
- Um teste de regressão com dois servidores foi adicionado para verificar o comportamento correto na serialização de tensores entre servidores.
- Binários pré-compilados estão disponíveis para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android e iOS.
Esta correção garante a integridade dos dados em configurações de inferência distribuída, impedindo o compartilhamento incorreto de buffers entre servidores RPC distintos.