Artikel ini menunjukkan bahwa urutan bidang secara signifikan memengaruhi kualitas retrieval dalam sistem metadata terstruktur karena penyetelan halus standar menyebabkan encoder bergantung pada posisi absolut daripada label bidang. Untuk mengatasi hal ini, penulis mengusulkan Penyetelan Halus Invarian Permutasi (PI-FT), sebuah metode yang menserialisasi catatan di bawah urutan bidang yang diambil secara acak dengan dropout untuk mengikat makna ke label.
- Penyetelan halus standar kehilangan 7,4 poin nDCG@10 ketika urutan bidang indeks berubah, sedangkan PI-FT mengurangi penalti ini menjadi 0,2 poin.
- Pendekatan ini menggunakan modifikasi data loader yang mengambil urutan bidang baru dan menerapkan dropout bidang acak selama pelatihan.
- Encoder CPU dengan 118M parameter yang disetel halus mencapai 0,707 nDCG@10 pada DevDataBench baru, mengungguli baseline zero-shot seperti text-embedding-3-large (0,556).
- Benchmark ini mencakup query berbasis konteks di 15 bahasa untuk hampir 10.000 indikator statistik pembangunan.
Metode ini memastikan bahwa data yang dapat diambil tetap dapat ditemukan terlepas dari variasi skema, yang sangat penting untuk agen AI yang memediasi akses ke statistik publik di mana log penggunaan tidak dapat memberikan sinyal pelatihan untuk indikator yang belum dicari.