Concordia: Puntos de control persistentes con núcleo JIT-compilado para inferencia tolerante a fallos de LLM
Este artículo presenta Concordia, un entorno de ejecución diseñado para proporcionar tolerancia a fallos en agentes LLM de larga duración manteniendo el estado valioso en las GPUs sin reiniciar la pila de servicio. El sistema utiliza un núcleo persistente residente en el dispositivo que se interpone en la carga del módulo GPU para admitir instrumentación a nivel PTX y SASS.