Para peneliti memperkenalkan MolSafeEval, sebuah benchmark yang dirancang untuk mengevaluasi risiko keamanan molekul yang dihasilkan oleh AI, mengatasi kesenjangan di mana benchmark saat ini mengabaikan potensi bahaya seperti toksisitas dan reaktivitas. Sistem ini mengintegrasikan pengetahuan keamanan heterogen dari basis data toksikologi dan aturan bahaya ke dalam grafik pengetahuan keamanan molekul terstruktur untuk memungkinkan deteksi sistematis dan penjelasan fitur yang tidak aman melalui penalaran model bahasa besar.
- MolSafeEval mengkategorikan model generatif molekul menjadi empat jenis tugas: generasi tanpa syarat, optimasi properti, desain berbasis protein target, dan generasi berbasis teks.
- Benchmark ini menyediakan dataset terstandarisasi dan protokol evaluasi keamanan untuk masing-masing kategori tugas representatif ini.
- Sistem ini memanfaatkan grafik pengetahuan terstruktur untuk mengungkap kerentanan keamanan yang sering dilewatkan oleh prediktor toksisitas yang sempit.
MolSafeEval menawarkan perspektif baru untuk benchmarking model molekul dan memberikan panduan penting menuju desain molekul yang lebih aman dan dapat dipercaya dengan secara sistematis mengungkapkan kerentanan keamanan dari pendekatan generatif saat ini.