El autor comparte observaciones sobre el mapeo y la dirección de modelos locales basándose en sus rutas de activación durante contextos específicos. El artículo destaca la varianza en las rutas de activación entre diferentes modelos al responder a un conjunto de solicitudes por lotes.

  • Gemma 4 31b qat mostró una varianza mínima en la ruta de activación.
  • Gemma 4 26b qat exhibió una varianza extrema.
  • Qwen 3.6 35b q_4 demostró una varianza moderada en la iluminación de las rutas de activación.

El autor compara estas rutas de activación con los clústeres neuronales en la mente humana, sugiriendo el potencial para identificar y manipular rasgos reaccionarios específicos dentro de los modelos.