La version b9978 de llama.cpp adresse un problème de checkpointing qui affectait négativement les charges de travail agents. Auparavant, chaque tour d'agent créait un nouveau checkpoint indépendamment de l'intervalle minimal des étapes, ce qui réduisait la fenêtre de couverture.

  • Les retours en arrière du contexte, courants dans les boucles d'appel d'outils, effaçaient tous les checkpoints et forçaient un traitement complet.
  • La correction garantit que les checkpoints rapprochés des tâches précédentes sont évacués pour maintenir une fenêtre large.
  • Cette optimisation permet aux sessions agents longues de rester rapides.

La mise à jour résout le problème d'effondrement des checkpoints, améliorant les performances des applications agents multi-tours.