Les développeurs interrogent la nécessité des poids multilingues dans les modèles de codage dense comme Qwen

Un développeur utilisant Qwen3.6-35B-A3B et le modèle dense Qwen3.6-27B soutient que les poids multilingues gaspillent de la VRAM pour les utilisateurs se concentrant uniquement sur le texte technique en anglais et le code.

• L'auteur note que les modèles denses nécessitent le chargement de fichiers de poids complets de 16 à 20 Go, excluant les utilisateurs disposant de matériel limité comme des GPU de 8 ou 12 Go.
• Il propose deux solutions potentielles : entraîner de nouveaux modèles à partir de zéro sans aucune donnée multilingue, ou élaguer les modèles existants pour retirer la capacité non anglaise a posteriori.
• L'auteur fait référence à une étude sur des modèles de raisonnement comme DeepSeek-R1 et OpenAI o1, notant leur faible précision d'exécution sur des tâches complexes par rapport à des benchmarks plus simples.

La préoccupation centrale est de savoir s'il est techniquement réalisable de supprimer les poids multilingues pour récupérer de la VRAM afin d'améliorer les performances de codage sur du matériel grand public.