Pembaruan TIS 2.0 memperkenalkan kemampuan penyusunan ulang dokumen yang menghilangkan bias posisi "lost-in-the-middle" dalam generasi yang diperkaya pengambilan tanpa memerlukan pelatihan tambahan. Dengan menerapkan skor kepentingan token yang telah dipelajari untuk menyusun ulang dokumen yang diambil, sistem mencapai kesenjangan posisi nol dan meningkatkan akurasi kecocokan tepat sebesar 5 poin persentase dibandingkan dengan baseline.

  • Penyusunan ulang dokumen melalui skor TIS mengurangi kesenjangan LITM menjadi 0.000 dan meningkatkan EM menjadi 21,7%, sesuai dengan performa oracle pada kueri MS-MARCO.
  • Checkpoint `tis-stage3-ert` yang ada, awalnya dilatih untuk kompresi cache KV, ditransfer zero-shot ke penyusunan ulang dokumen dengan hasil identik dibandingkan reranker khusus.
  • Modul `QueryAwareImportanceHead` baru menambahkan interaksi konteks-kueri cross-attention dan pelatihan kontras InfoNCE untuk penilaian relevansi per dokumen.
  • Mengintegrasikan bias kepentingan TIS ke dalam decoding spekulatif meningkatkan panjang penerimaan drafter dari 5,80 menjadi 6,57, menghasilkan percepatan 12,5% pada model LLaMA-3.
  • Checkpoint baru `tis-passage-reranker` dan `tis-v8b-hard-anchor` kini tersedia di HuggingFace bersama dengan repositori GitHub yang diperbarui.

Para penulis mencatat bahwa meskipun TIS secara efektif mengatasi bias posisi, ekstraksi jawaban tetap menjadi hambatan utama, karena sekitar 76% kasus uji masih salah bahkan setelah penyusunan ulang optimal.