Los investigadores proponen utilizar métricas basadas en la forma espectral derivadas de la teoría de autorregulación de cola pesada para abordar los desafíos de gestionar y cuantificar modelos de lenguaje grandes a escala. Este enfoque utiliza la información de forma de la densidad espectral empírica de los pesos como una firma compacta que captura propiedades intrínsecas de los modelos preentrenados mientras permanece robusta durante el post-entrenamiento.
- La métrica es libre de datos, computacionalmente eficiente e invariante a la escala, permitiendo un análisis práctico a gran escala.
- Se utilizó un corpus curado de familias principales de LLM de código abierto para realizar benchmarks de métricas espectrales y no espectrales entre modelos y tareas downstream.
- La firma espectral admite el seguimiento del linaje del modelo, la agrupación no supervisada de modelos similares y la cuantificación del rendimiento del modelo.
El método propuesto proporciona un proxy significativo para tendencias amplias de rendimiento, permitiendo una organización eficiente, comparación y análisis de grandes colecciones de modelos.