Un estudio exhaustivo revela que las codificaciones posicionales sinusoidales preservan la equivalencia funcional en los Transformers, mientras que las codificaciones posicionales rotatorias reducen la simetría, mejorando la expresividad. La investigación muestra que las codificaciones posicionales influyen críticamente en la conectividad de modo lineal, con resultados empíricos que demuestran variabilidad en la conectividad dependiendo de la codificación utilizada.