Pesquisadores introduzem a codificação requencial, um método que contorna as limitações da compressão baseada em parâmetros ao codificar a trajetória de treinamento por meio de um modelo professor que seleciona amostras da distribuição do aluno. Esta abordagem registra apenas os bits onde o professor e o aluno discordam, resultando em comprimentos de código independentes da contagem de parâmetros e da entropia dos dados.
- O método frequentemente produz códigos ordens de magnitude mais curtos que a codificação prequential, com vantagens que crescem à medida que a escala aumenta.
- Modelos maiores e conjuntos (ensembles) são comprimidos para tamanhos menores apesar de terem mais parâmetros quando a perda é mantida fixa.
- Acoplado a um limite PAC-Bayes, o código requencial fornece garantias de generalização de última geração para LLMs com bilhões de parâmetros.
- A técnica isola informação aprendível de conteúdo aleatório, revelando que texto de baixa entropia contém mais estrutura do que dados de imagem de alta entropia.
Este método de compressão fornece limites de generalização mais apertados no regime ótimo de computação e prevê sobreajuste gradual durante o treinamento multi-época.