Artikel ini memperkenalkan "grounding menipu" (DG), sebuah mode kegagalan dalam generasi yang diperkuat pengambilan klinis di mana klaim model secara faktual berdasar pada dokumen yang diambil tetapi dikaitkan ke entitas yang salah. Masalah ini tetap tidak terlihat oleh pemeriksaan kesetiaan, halusinasi, dan kutipan standar karena setiap klaim bersumber dari dokumen nyata.
- Benchmark faktorial terkontrol melintasi 13 model menemukan tingkat DG berkisar 8-87% pada kondisi adversarial puncak, dengan model yang di-fine-tune medis mencapai hingga 86,7%.
- Spesialisasi domain ditemukan memperkuat kegagalan ini alih-alih menguranginya.
- Studi ablasi mengidentifikasi bahwa menghapus bukti klinis spesifik entitas menghilangkan kegagalan atribusi entitas sepenuhnya, menggeser kegagalan ke konfabulasi.
- Pengukuran produksi melintasi 740 pasangan obat-penyakit dalam sistem RAG yang diimplementasikan menemukan DG keseluruhan 7,8%, meningkat menjadi 13,6% untuk obat yang baru disetujui.
- Verifikasi atribusi entitas mendeteksi DG pada presisi 97,0% dan recall 98,7%, namun tidak ada kerangka kerja yang ada saat ini yang mengimplementasikannya.
Para penulis menganggap ini penting karena kerangka evaluasi saat ini gagal mendeteksi kesalahan atribusi entitas, yang sangat umum terjadi pada model khusus dan sistem produksi.