Um novo conceito chamado UCTF (Universal Compressed Training Format) propõe uma camada mediadora para abordar a redundância semântica no treinamento de LLMs multilíngues, comprimindo diversas línguas em um formato de token unificado e independente de língua.
- O pipeline ingere dados brutos, extrai significado por meio de embeddings cross-linguais e o codifica em uma representação densa otimizada para máquina para treinamento.
- O UCTF estende os conceitos do Byte Latent Transformer no contexto cross-lingual e utiliza ferramentas existentes como LaBSE ou mE5 para mapeamento de vetores semânticos.
- Benefícios potenciais incluem redução de desperdício de armazenamento e computação, ciclos de treinamento mais rápidos e melhor suporte para línguas com poucos recursos.
O autor busca críticas técnicas sobre a viabilidade de alcançar altas taxas de compressão sem degradar os sinais de treinamento e se os pipelines padrão de fine-tuning permanecem compatíveis.