Un chercheur mène une étude visant à évaluer les limites de mémoire des petits modèles de langage IA (de 100M à 3B de paramètres) pour les tâches de récupération et de reconstruction, dans le but d'identifier ceux adaptés aux ordinateurs portables bas de gamme. L'étude compare spécifiquement trois modèles Qwen2.5 : 0.5B, 1.5B et 3B.
- Les performances en mémoire pour la récupération étaient relativement similaires entre les trois tailles de modèles.
- Les résultats en mémoire pour la reconstruction ont révélé une tendance inattendue : le modèle le plus grand, Qwen2.5-3B, a obtenu les pires performances.
- Le modèle 3B a affiché une baisse beaucoup plus marquée des performances de reconstruction à mesure que l'information d'entrée augmentait, par rapport aux modèles 1.5B et 0.5B.
L'auteur sollicite des avis sur des analyses complémentaires ou des vérifications méthodologiques pour confirmer si ce résultat contre-intuitif est objectif plutôt qu'une erreur expérimentale.