L'article présente Thomson, un modèle de pointe polyvalent développé par SovereignAI qui démontre comment les institutions peuvent atteindre des performances de pointe grâce à l'apprentissage continu sur des modèles à poids ouverts facilement accessibles. Cette approche utilise une pile moderne d'entraînement intermédiaire et postérieur avec des garde-fous pour préserver la plasticité et la stabilité, permettant des interventions minimales à fort impact sur les paramètres.
- Thomson affiche des performances compétitives par rapport aux modèles de pointe récents dans les tâches agentices, la sécurité, le juridique, la fiscalité, le multilinguisme et la recherche approfondie à grande échelle.
- Les évaluations révèlent un schéma d'améliorations distinctif en forme de π sur une large gamme de capacités, y compris celles qui n'étaient pas explicitement ciblées.
- La méthode élimine presque complètement le problème d'oubli courant dans l'adaptation à des domaines étroits.
- L'approche nécessite des budgets de calcul et de personnel nettement inférieurs à ce que l'on pense couramment, rendant la maîtrise de la pile SovereignAI viable pour un plus grand nombre d'acteurs.
En exploitant l'apprentissage continu plutôt que des approches limitées comme le fine-tuning ou l'ingénierie de prompts, ce travail soutient que des performances de pointe sont réalisables pour une large gamme d'institutions dans divers contextes de financement.