Una investigación causal del enrutamiento de logit-vocabulario en el modelo Qwen2-1.5B revela que las coordenadas más grandes en el vector de enrutamiento no son necesariamente responsables de los efectos conductuales observados. El estudio, realizado por ntrillard, analiza cómo el enrutamiento de logit ordenado y disperso influye en la generación de tokens e identifica los componentes estructurales específicos que impulsan estos cambios.
- El transporte (generación de palabras objetivo) aparece alrededor de K≈150 y persiste hasta K≈300, siendo K=200 el punto de máxima alineación pero no un óptimo conductual único.
- La proyección pura de fila(W) (λ=1) muestra cero transporte en 30 semillas, mientras que cada condición λ<1 retiene un componente fuera de fila distinto de cero y muestra algo de transporte.
- El efecto se identifica como forzamiento léxico en lugar de transporte semántico; aumentar los vecinos léxicos del top-200 produce 27/30 de transporte, mientras que los vecinos semánticos sin aumento producen 0/30.
- Eliminar la coordenada más grande no elimina el efecto, lo que indica que no existe una única coordenata portadora de carga en el vector de enrutamiento.
Recalcular el vector dinámicamente por prefijo o contexto propio apenas cambia el vector y no mejora el rendimiento sobre los vectores estáticos.
Los hallazgos sugieren que la interacción entre la identidad de la coordenada y su magnitud ordenada es crítica para el éxito del enrutamiento, desafiando las suposiciones sobre qué componentes del vector impulsan el comportamiento del modelo.