ServiceNow a présenté Apriel-Nemotron-15B-Thinker, un modèle de 15 milliards de paramètres dans la série Apriel SLM qui égale ou dépasse les performances des bases plus grandes de 30 à 32 milliards de paramètres comme o1-mini, QWQ32B et EXAONE-Deep-32B, tout en utilisant environ la moitié de leur empreinte mémoire.
Le modèle est construit sur un pipeline d'entraînement en quatre étapes : mise à l'échelle du modèle de base à partir d'une colonne vertébrale de 12B, pré-entraînement continu sur des traces de raisonnement, ajustement fin supervisé sur des données de raisonnement de haute qualité, et apprentissage par renforcement utilisant l'optimisation relative de la politique de groupe (GRPO).
Les évaluations sur sept benchmarks axés sur l'entreprise et cinq tâches de raisonnement académique démontrent que le modèle s'intègre dans la capacité mémoire d'un seul H100 ou de deux GPU grand public tout en offrant des résultats à la pointe de la technologie pour sa taille.
Cette approche comble le manque de modèles suffisamment petits pour fonctionner sur du matériel limité mais assez intelligents pour le raisonnement complexe multi-étapes, l'appel d'outils et les tâches d'entreprise spécifiques au domaine.