Pesquisadores propõem o SATS (Limiarização Consciente da Sensibilidade para Esparsidade) e um framework leve de roteamento de tokens para otimizar a inferência em Grandes Modelos de Linguagem. O SATS substitui a calibração baseada em percentis por um proxy de sensibilidade de saída MLP local para determinar os limiares de porta por camada, enquanto o framework de roteamento seleciona dinamicamente caminhos de computação por token.
- O SATS usa uma regra de seleção consciente da sensibilidade em vez de percentis de ativação para calibração do limiar.
- O roteamento de tokens escolhe dinamicamente entre caminhos base e modificados em base por token.
- A avaliação em vários LLMs de peso aberto mostra que o SATS melhora sobre as linhas de base de esparsificação baseada em limiares na mesma esparsidade real.
- O roteamento de tokens produz uma compensação qualidade-vazão mais favorável do que as linhas de base de modificação estática de ativações.
Os autores concluem que a calibração aprimorada do limiar e o roteamento de tokens podem melhorar a compensação qualidade-vazão em LLMs.