arxiv arXiv cs.AI · baru saja · sumber: 3 hari lalu · research

GPT-5 dan GPT-5 Nano menyamai para ahli dalam penilaian penelitian onkogenesis mikroba

Diterjemahkan dari English → Bahasa Indonesia

Sebuah studi menunjukkan bahwa GPT-5 dan GPT-5 Nano mencapai kinerja tingkat ahli dalam mengekstrak bukti dan melakukan penilaian kritis terhadap publikasi penelitian mengenai onkogenesis mikroba. Para peneliti membandingkan model-model ini bersama Gemini 2.5 Pro dan Gemini 2.5 Flash dengan para ahli domain menggunakan dataset yang terdiri dari 24 makalah yang berfokus pada MMTV-LV dan kanker payudara.

Evaluasi menggunakan templat terstruktur dengan 77 item di berbagai jenis pertanyaan, termasuk MCQ, skala Likert, dan respons teks bebas.
GPT-5 dan GPT-5 Nano menghasilkan distribusi skor yang tidak dapat dibedakan dari para ahli manusia, sementara model-model Gemini jauh lebih longgar dalam menerapkan kriteria.
Hallusinasi jarang terjadi pada semua model, namun penilaian metodologis dan identifikasi kontradiksi dalam teks lengkap tetap menjadi kerentanan yang persisten.

Temuan ini mendukung penggunaan LLM untuk sintesis bukti sistematis otomatis, meskipun penguatan lebih lanjut diperlukan untuk tugas-tugas metodologis yang kompleks.

Kepentingan 2/3 arXiv cs.AI Google DeepMind OpenAI Evaluation & benchmarks Research paper

Artikel terkait

arxiv arXiv cs.CL · 2 jam lalu

GPT-5 dan GPT-5 Nano setara dengan pakar dalam ekstraksi bukti onkogenesis mikroba

Sebuah studi yang membandingkan model bahasa besar pada sintesis bukti sistematis untuk onkogenesis mikroba menemukan bahwa GPT-5 dan GPT-5 Nano berkinerja tak terbedakan dari pakar domain. Para peneliti mengevaluasi Gemini 2.5 Pro, Gemini 2.5 Flash, GPT-5, dan GPT-5 Nano pada 24 makalah penelitian menggunakan templat terstruktur berisi 77 item di berbagai jenis pertanyaan.

arxiv arXiv cs.CL · 38 hari lalu

Penilaian otomatis ujian Linux/bash menggunakan model bahasa besar

Studi ini mengevaluasi apakah empat Model Bahasa Besar (LLM) terdepan (GPT, Claude Opus, Gemini, dan GLM) dapat mengaproksimasi penilaian ahli saat menilai respons perintah Linux/bash yang pendek. Penelitian ini menunjukkan bahwa prompt terstruktur secara signifikan meningkatkan kesesuaian dengan penilai manusia, menetapkan kerangka kerja untuk penilaian yang dibantu AI dalam pendidikan komputing.

arxiv arXiv cs.LG · 34 hari lalu · 1 tayangan

Ekspresi persona LLM terdiri dari agregat yang robust terhadap frame dan geometri yang bergantung pada frame

Sebuah studi yang menganalisis GPT-4o mensimulasikan persona Amerika dan Tionghoa-Amerika mengungkapkan bahwa ekspresi persona LLM terdiri dari dua komponen yang dapat dipisahkan: fitur agregat dan fitur geometris. Para peneliti membangun matriks korelasi dalam-instances dari respons IPIP-50 untuk menganalisis geometri pada manifold SPD di bawah urutan pertanyaan yang dimanipulasi.

arxiv arXiv cs.AI · 34 hari lalu

Ekspresi persona LLM terdiri dari agregat yang robust terhadap frame dan geometri yang bergantung pada frame

Sebuah studi yang menganalisis GPT-4o yang mensimulasikan persona Amerika dan Tionghoa-Amerika mengungkapkan bahwa ekspresi persona LLM terdiri dari dua komponen yang dapat dipisahkan: fitur agregat dan fitur geometris. Para peneliti membangun matriks korelasi dalam-instances dari respons IPIP-50 untuk menganalisis geometri pada manifold SPD di bawah urutan pertanyaan yang dimanipulasi.

arxiv arXiv cs.CL · 35 hari lalu

GPT-5 mengungguli manusia dalam memicu keadaan kepercayaan melalui perencanaan

Sebuah studi baru mengevaluasi kemampuan Large Language Models untuk memicu keadaan kepercayaan spesifik pada agen lain melalui tindakan, bukan percakapan, sebuah kemampuan yang disebut Non-Conversational Planning ToM (NCP-ToM).