O autor compartilha observações sobre o mapeamento e a direção de modelos locais com base em seus caminhos de ativação durante contextos específicos. O post destaca a variância nos caminhos de ativação entre diferentes modelos ao responder a um conjunto de prompts em lote.

  • Gemma 4 31b qat mostrou variância mínima no caminho de ativação.
  • Gemma 4 26b qat exibiu variância extrema.
  • Qwen 3.6 35b q_4 demonstrou variância moderada na iluminação dos caminhos de ativação.

O autor compara esses caminhos de ativação com clusters neurais na mente humana, sugerindo o potencial de identificar e manipular traços reativos específicos dentro dos modelos.