Ce travail présente le Dual-Embedding Watermarking (DEW), un schéma de filigrane sémantique pour les grands modèles de langage qui exploite les embeddings contextuels et au niveau des tokens pour renforcer la robustesse face au paraphrasage et à la traduction. Le DEW utilise une méthodologie de traitement du signal, appliquant des opérations d'espace vectoriel algébrique pour dériver un signal de filigrane qui se dégrade gracieusement sous les shifts sémantiques.
- La méthode obscurcit le filigrane en projetant les vecteurs d'embedding à travers des matrices pseudo-aléatoires initialisées avec une clé secrète.
- Les distributions pertinentes dérivées de l'algèbre sous-jacente sont évaluées et employées pour les tests statistiques et le benchmarking du DEW.
- Les résultats expérimentaux sur plusieurs LLM indiquent que le DEW améliore la détection post-paraphrase tout en maintenant une qualité textuelle compétitive.
- Le filigrane reste détectable après traduction, même lorsque les filigranes sémantiques précédents se dégradent significativement.
Ces résultats positionnent le DEW comme une solution pratique et robuste pour protéger le texte généré par les LLM et aborder des enjeux critiques dans le déploiement responsable de l'IA.