Un estudio reciente investiga qué tokens específicos son predichos con mayor precisión por los modelos lingüísticos híbridos en comparación con las arquitecturas densas estándar. La investigación se centra en comprender la distribución de los errores de predicción entre diferentes tipos de tokens, como palabras raras y fragmentos de código. Al analizar los paisajes de pérdida, los autores identifican que los modelos híbridos destacan en la captura de dependencias a largo plazo en regiones de datos dispersos. Los hallazgos sugieren que el mecanismo de mezcla de expertos permite una utilización más eficiente de los parámetros durante la inferencia. Esta mejora en la precisión es particularmente notable para los tokens con baja frecuencia en el corpus de entrenamiento. El artículo proporciona un desglose detallado de las métricas de rendimiento en varios conjuntos de datos de referencia. Estos resultados destacan el potencial de las arquitecturas híbridas para manejar eficazmente estructuras lingüísticas diversas.