Un utilisateur de Reddit suggère d'appliquer le concept d'« espace J » d'Anthropic aux techniques de compression de modèles. La proposition consiste à utiliser des matrices jacobienes pour identifier les activations les plus influentes sur les sorties finales, permettant ainsi un pruning, un merging et une distillation plus efficaces.
- L'approche vise à compresser les modèles denses sans détruire leurs capacités de raisonnement en se concentrant sur les changements vectoriels impactants.
- Cela pourrait permettre de débruiter ou d'amplifier le signal de raisonnement des modèles plus grands pour le transférer vers des modèles plus petits.
- La méthode pourrait réduire l'intensité computationnelle nécessaire à la distillation des modèles de pointe en variantes plus petites.
L'auteur espère que ces idées aideront la communauté locale de l'IA, tout en reconnaissant qu'une validation par des experts est nécessaire.