Un usuario de Reddit sugiere aplicar el concepto de "J space" de Anthropic a técnicas de compresión de modelos. La propuesta implica usar matrices de Jacobian para identificar activaciones más influyentes en las salidas finales para un pruning, merging y distillation más efectivos.

  • El enfoque busca comprimir modelos densos sin destruir capacidades de razonamiento al centrarse en cambios vectoriales impactantes.
  • Podría permitir el denoising o amplificación de la señal del razonamiento de modelos más grandes para transferirla a modelos más pequeños.
  • El método podría reducir la intensidad computacional para distilling modelos de vanguardia en variantes más pequeñas.

El autor espera que estas ideas ayuden a la comunidad local de IA, aunque reconoce la necesidad de validación experta.