HERMES : Un substrat d'étiquetage multi-granularité pour les mélanges de données de pré-entraînement
HERMES est un substrat d'étiquetage dérivé des données qui utilise une transformation sémantique apprise et une quantification vectorielle résiduelle en 3 étapes pour annoter des documents en un code allant du grossier au fin avec jusqu'à environ 130k cellules.