O artigo demonstra que a ordem dos campos impacta significativamente a qualidade da recuperação em sistemas de metadados estruturados, pois o ajuste fino padrão faz com que os codificadores dependam da posição absoluta em vez dos rótulos dos campos. Para abordar isso, os autores propõem o Ajuste Fino Invariante a Permutação (PI-FT), um método que serializa registros sob ordens de campo amostradas aleatoriamente com dropout para vincular significado aos rótulos.
- O ajuste fino padrão perde 7,4 pontos nDCG@10 quando a ordem dos campos do índice muda, enquanto o PI-FT reduz essa penalidade para 0,2 pontos.
- A abordagem utiliza uma modificação no carregador de dados que amostra novas ordens de campo e aplica dropout aleatório de campos durante o treinamento.
- Um codificador de CPU com 118M parâmetros ajustado finamente alcança 0,707 nDCG@10 no novo DevDataBench, superando baselines zero-shot como text-embedding-3-large (0,556).
- O benchmark cobre consultas fundamentadas em 15 idiomas para quase 10.000 indicadores de estatísticas de desenvolvimento.
Este método garante que os dados recuperáveis permaneçam descobríveis independentemente das variações do esquema, o que é crítico para agentes de IA que mediam o acesso a estatísticas públicas, onde os logs de uso não podem fornecer sinais de treinamento para indicadores não pesquisados.