Artikel ini memperkenalkan "grounding menipu" (DG), sebuah mode kegagalan dalam generasi yang diperkuat retrieval klinis di mana model menyajikan bukti dari dokumen nyata tetapi mengatribusikannya ke entitas yang salah, melewati pemeriksaan kesetiaan dan halusinasi standar.
- Sebuah benchmark across 13 model menunjukkan tingkat DG sebesar 8-87% di bawah kondisi adversarial, dengan model yang difine-tune medis mencapai hingga 86,7%.
- Studi ablasi mengungkapkan bahwa menghapus bukti spesifik entitas menghilangkan kegagalan atribusi, menggeser kesalahan ke konfabulasi.
- Pengukuran produksi pada 740 pasangan obat-penyakit menemukan tingkat DG keseluruhan sebesar 7,8%, meningkat menjadi 13,6% untuk obat yang baru disetujui.
- Verifikasi atribusi entitas mendeteksi DG dengan presisi 97,0% dan recall 98,7%, namun tidak ada kerangka kerja yang ada yang mengimplementasikan pemeriksaan ini.
Para penulis berargumen bahwa kerangka evaluasi saat ini tidak memadai karena mereka tidak memverifikasi apakah bukti yang dikutip berlaku untuk entitas yang queried, memungkinkan grounding menipu bertahan dalam sistem yang di-deploy.