Pesquisadores propõem usar métricas baseadas na forma espectral derivadas da teoria de Autorregressão Auto-Regularizada de Cauda Pesada para abordar os desafios de gerenciar e quantificar grandes modelos de linguagem em escala. Esta abordagem utiliza a informação de forma da densidade espectral empírica dos pesos como uma assinatura compacta que captura propriedades intrínsecas de modelos pré-treinados enquanto permanece robusta durante o pós-treinamento.
- A métrica é livre de dados, computacionalmente eficiente e invariante à escala, permitindo análise prática em larga escala.
- Um corpus curado das principais famílias de LLMs de código aberto foi usado para benchmark de métricas espectrais e não espectrais entre modelos e tarefas downstream.
- A assinatura espectral suporta o rastreamento da linhagem do modelo, agrupamento não supervisionado de modelos semelhantes e quantificação do desempenho do modelo.
O método proposto fornece um proxy significativo para tendências amplas de desempenho, permitindo organização eficiente, comparação e análise de grandes coleções de modelos.