El proyecto llama.cpp lanzó la compilación b10709, que aborda un problema crítico en el subsistema RPC respecto a cómo se manejan los búferes de tensores durante la comunicación entre servidores.

  • El cambio principal evita la serialización de búferes pertenecientes a otros servidores incluyendo solo punteros a búferes remotos cuando el búfer pertenece al despachador RPC que recibe el grafo.
  • Se añadió una prueba de regresión con dos servidores para verificar el comportamiento correcto en la serialización de tensores entre servidores.
  • Los binarios precompilados están disponibles para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android e iOS.

Esta corrección garantiza la integridad de los datos en configuraciones de inferencia distribuida al evitar el intercambio incorrecto de búferes entre servidores RPC distintos.