Une étude caractérise les « FragileTokens », entrées de vocabulaire dans les modèles de langage à poids ouverts qui copient avec succès lorsqu'ils sont isolés mais présentent des erreurs lorsqu'ils sont intégrés dans un texte environnant. La recherche souligne que la préservation littérale de l'identité n'est pas garantie par les tests d'isolation standards, car les tokens peuvent être supprimés, substitués ou tronqués au sein de séquences.
- Testé huit modèles à poids ouverts des familles Qwen et OLMo en utilisant des IDs de token fixes insérés dans des séquences de mots communs aléatoires de longueurs variées.
- Constaté qu'un filtre basé sur la probabilité signale de 0,4 % à 10,9 % des tokens ayant passé le test d'isolation comme sensibles dans au moins 10 % des contextes testés.
- Démontré des modes d'échec spécifiques incluant la suppression, la substitution, la troncature et la traduction, certaines erreurs survenant même sous des distributions de sortie concentrées.
- Évalué les signaux géométriques, trouvant que la proximité entre les embeddings d'entrée et de sortie a atteint une AUROC de 0,744 à 0,881 sur sept modèles pour identifier ces tokens.
- Montré que les candidats fragiles sélectionnés sont préservés moins souvent que les contrôles stables dans des tâches d'instruction et d'utilisation simulée d'outils.
Les résultats motivent l'utilisation de protocoles de vérification contextuelle, arguant qu'un passage au test d'isolation ne devrait pas être traité comme un certificat général de fiabilité littérale.