Le projet llama.cpp a publié la compilation b10709, qui traite d'un problème critique dans le sous-système RPC concernant la gestion des tampons de tenseurs lors de la communication inter-serveurs.
- Le changement principal empêche la sérialisation des tampons appartenant à d'autres serveurs en incluant uniquement les pointeurs de tampons distants lorsque le tampon appartient au répartiteur RPC recevant le graphe.
- Un test de régression à deux serveurs a été ajouté pour vérifier le comportement correct de la sérialisation des tenseurs inter-serveurs.
- Des binaires précompilés sont disponibles pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android et iOS.
Cette correction garantit l'intégrité des données dans les configurations d'inférence distribuée en empêchant le partage incorrect de tampons entre des serveurs RPC distincts.