Jeanbosange a publié le premier prototype public de LIMEN Runtime Audit, une boîte à outils open-source conçue pour inspecter les trajectoires d'activation par couche dans les modèles de langage à poids ouverts. L'outil traite la séquence des états cachés à travers les couches comme une trajectoire mesurable, offrant une couche d'observabilité reproductible pour comparer le comportement interne du runtime.
- La version 0.1 accepte les tableaux NumPy exportés contenant les états cachés et les logits optionnels.
- Elle calcule des métriques incluant la longueur du chemin, le déplacement, la tortuosité, la vitesse moyenne, la variabilité de la vitesse, l'accélération moyenne, l'angle de virage, l'entropie et la marge top-1/top-2.
- La boîte à outils valide les dimensions des tableaux, enregistre les métadonnées d'extraction, génère des sommes de contrôle SHA-256 et produit des rapports d'audit au format JSON et Markdown lisibles par machine.
- Elle exécute des tests automatisés sur Python 3.10, 3.11 et 3.12.
L'auteur souligne qu'il s'agit d'un outil d'audit descriptif plutôt que d'un prédicteur des états de raisonnement ou sémantiques, visant à aider les utilisateurs à comparer les architectures de modèles, détecter les régressions et étudier les différences dynamiques entre familles d'invitations.