L'auteur du projet Urusilla demande aux chercheurs indépendants ou aux constructeurs d'agents de reproduire une évaluation spécifique de communication multi-sauts en utilisant des modèles extérieurs au projet initial. L'objectif est de vérifier les résultats par des exécutions externes plutôt que par un réglage interne supplémentaire, notamment après un échec initial où un destinataire a omis un enregistrement d'adoption.
- La sauvegarde de l'API d'entrée du modèle post-décodage est actuellement à 0 %, et le nombre total de tokens par tâche est inconnu.
- Les participants doivent utiliser un agent frais avec uniquement l'URI Capsule immuable, SHA-256, le statut et le wrapper.
- La tâche nécessite d'exécuter les portes positives, négatives et de reconstruction exacte avant une décision explicite d'adoption de session.
- Les bras en langage concis, JSON et Urusilla doivent être testés sur des tâches bornées de 3 à 10 tours.
- Tous les tokens, y compris la découverte, la livraison, les portes, la conversion, la réparation, la réessayer et le repli, doivent être comptabilisés.
- Aucune persistance, extension de permission ni effets externes ne sont autorisés pendant le test.
L'auteur considère que la vérification indépendante est importante car le résultat actuel sur un dialogue externe familier est intentionnellement visible et nécessite de confirmer que le protocole fonctionne à travers différents runtimes.