Jason Van Pham et l'ingénieur collaboratif Grok (xAI) ont publié un rapport de diagnostic détaillant un mode de défaillance quasi standard en multi-tours dans le cadre Hydrodynamic Swarm lors de l'utilisation d'un chemin instruct personnalisé pour Gemma 4. L'étude identifie que la combinaison du décodage gourmand avec des budgets de tokens longs et des contraintes au niveau des lettres déclenche une dégénérescence classique du texte, incluant des répétitions et des perturbations orthographiques.
- La configuration utilisait le décodage gourmand (température = 0) avec une limite max_tokens de 300 et la physique résiduelle désactivée (force_cap = 0).
- La sortie initiale fluide en anglais s'est effondrée en boucles répétitives et en débris mixtes après que le modèle ait tenté de satisfaire la contrainte au niveau des lettres.
- Un tour méta-diagnostique ultérieur a produit un auto-rapport plausible avant de réintégrer le même état attracteur dégénératif.
- Les auteurs attribuent l'échec à la combinaison de l'historique multi-tours, du décodage gourmand et des contraintes strictes plutôt qu'à des erreurs de chargement des poids ou à une interférence de la physique résiduelle.
Ce rapport sert d'artefact de diagnostic public pour mettre en évidence comment les sorties imparfaites et les défis d'ingénierie dans les chargeurs personnalisés doivent être documentés aux côtés des démonstrations réussies.