arxiv arXiv cs.CL · 2 hari lalu · sumber: 5 hari lalu · research

TrialAtlas: sistem multi-agen meningkatkan penilaian risiko desain uji klinis

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti memperkenalkan TrialAtlas, organisasi penelitian multi-agen yang diperkaya memori, dirancang untuk membantu perencanaan pengembangan klinis (CDP). Sistem ini mengoordinasikan agen-agen khusus untuk sintesis literatur, intelijen kompetitif, dan analisis regulasi guna mengantisipasi risiko pengembangan.

TrialAtlas belajar dari uji klinis historis dan Aplikasi Obat Baru (NDA) sebelumnya untuk mendasarkan keputusannya pada pengalaman yang terakumulasi.
Tim mengevaluasi sistem menggunakan TrialAtlasBench, sebuah dataset berisi 291 Surat Tanggapan Lengkap FDA yang mencakup detifikasi kekurangan, perbaikan desain, dan prediksi keberhasilan.
Untuk deteksi kekurangan, TrialAtlas mencapai skor F1 sebesar 50,0%, mengungguli baseline terkuat dengan selisih 6,1 poin.
Sistem ini mencapai akurasi seimbang sebesar 85,3% dan F1 sebesar 84,7% untuk memprediksi keberhasilan teknis dan regulasi, meningkatkan akurasi seimbang sebesar 6,7 poin dan kappa Cohen sebesar 12,0 poin dibandingkan baseline.
Dalam evaluasi ahli, 86,4% kekhawatiran yang dihasilkan TrialAtlas dinilai valid, dibandingkan dengan 83,1% untuk OpenAI DeepResearch dan 59,3% untuk Gemini DeepResearch.

Sistem ini bertujuan mengurangi sifat yang intensif tenaga dan subjektif dari perencanaan pengembangan klinis dengan memberikan wawasan berbasis data mengenai desain uji klinis dan hasil regulasi.

Kepentingan 2/3 Kerangka evaluasi baru dengan pembeda arXiv cs.CL AI agents Research paper

Artikel terkait

arxiv arXiv cs.AI · 2 jam lalu · 9 tayangan

AIDE^2 memungkinkan peningkatan diri secara rekursif pada agen penelitian AI

Para peneliti menyajikan AIDE^2, sebuah sistem yang mengimplementasikan siklus peningkatan diri secara rekursif untuk agen penelitian AI dengan mengoptimalkan kode internalnya sendiri. Sistem ini mengusulkan perubahan pada logika internalnya, melakukan benchmarking versi yang dimodifikasi pada tugas R&D AI, dan hanya mempertahankan peningkatan yang menunjukkan kinerja terbaik pada evaluasi tersembunyi.

arxiv arXiv cs.AI · 3 jam lalu · 13 tayangan

Growing Harness mengubah kontrol agen berulang menjadi kode yang dapat digunakan kembali melalui pelatihan yang dipandu oleh kegagalan

Para penulis memperkenalkan Growing Harness, sebuah paradigma pelatihan yang mempelajari struktur kontrol agen dari umpan balik tugas, bukan mengandalkan harness standar yang bergantung pada konteks. Dengan mengonversi keputusan kontrol berulang menjadi kode yang dapat dieksekusi dan membatasi panggilan LLM untuk penalaran semantik, metode ini bertujuan menciptakan agen spesialis yang dapat digunakan kembali.

arxiv arXiv cs.LG · 4 jam lalu · 11 tayangan

AIDE^2 memungkinkan peningkatan diri secara rekursif pada agen riset AI

Para peneliti menyajikan AIDE^2, sebuah sistem yang mengimplementasikan siklus peningkatan diri secara rekursif untuk agen riset AI terdepan dengan mengoptimalkan kode internalnya sendiri. Sistem ini mengusulkan perubahan pada logika internalnya, melakukan benchmarking versi yang dimodifikasi pada tugas-tugas R&D AI, dan hanya mempertahankan pembaruan yang berkinerja terbaik pada evaluasi tersembunyi.

arxiv arXiv cs.CL · 7 jam lalu · 12 tayangan

Agensh menskalakan kecerdasan organisasi hingga 1.024 agen

Peneliti memperkenalkan Agensh, sebuah harness multi-agen yang terorganisasi sendiri dan dapat diskalakan yang menghilangkan hambatan orkestrator pusat dengan memungkinkan pekerja konkuren mengklaim sub-tugas secara asinkron dan menggabungkan kemajuan.

arxiv arXiv cs.AI · 8 hari lalu · 24 tayangan

Pratinjau Atria Dawn: model bahasa agentic dasar untuk penelitian ilmiah

Atria Dawn Preview adalah model bahasa agentic dasar yang dirancang untuk alur kerja penelitian ilmiah dan teknik, dilatih melalui Pipelina Pengalaman Terverifikasi yang menghubungkan interaksi yang dimediasi alat ke lingkungan yang dapat dieksekusi. Di seluruh 16 benchmark yang mencakup penelitian dunia nyata, teknik, dan pekerjaan digital, model ini kompetitif dengan agen terdepan dan mencapai skor tertinggi yang dilaporkan pada lima di antaranya.