Pesquisadores investigaram se pesos individuais em redes neurais podem ser compreendidos globalmente ao longo da distribuição completa de treinamento, caracterizando quando eles importam. Eles introduziram um pipeline LLM automatizado que gera e verifica descrições legíveis por humanos de funções de peso em texto retido.
- O estudo comparou dois transformadores esparsos e dois densos para medir a fração de pesos interpretáveis.
- Uma fração significativa dos pesos de um modelo de transformador esparso pode ser interpretada, com 12 a 31% tendo uma única descrição curta que identifica seu uso.
- A lacuna na interpretabilidade entre modelos esparsos e densos aumenta quando descrições não confiáveis são descartadas.
Os resultados demonstram que parâmetros individuais em transformadores esparsos são mais adequados à interpretação mecânica do que aqueles em arquiteturas densas.