arxiv arXiv cs.CL · 1 jam lalu · sumber: 3 hari lalu · research

GPT-5 dan GPT-5 Nano setara dengan pakar dalam ekstraksi bukti onkogenesis mikroba

Diterjemahkan dari English → Bahasa Indonesia

Sebuah studi yang membandingkan model bahasa besar pada sintesis bukti sistematis untuk onkogenesis mikroba menemukan bahwa GPT-5 dan GPT-5 Nano berkinerja tak terbedakan dari pakar domain. Para peneliti mengevaluasi Gemini 2.5 Pro, Gemini 2.5 Flash, GPT-5, dan GPT-5 Nano pada 24 makalah penelitian menggunakan templat terstruktur berisi 77 item di berbagai jenis pertanyaan.

Respons LLM sangat selaras dengan pakar di semua jenis pertanyaan, termasuk MCQ, skala Likert, multi-pilihan, dan format teks bebas.
GPT-5 dan GPT-5 Nano mencapai distribusi skor yang secara statistik tak terbedakan dari pakar manusia.
Model Gemini berperilaku serupa tetapi jauh lebih longgar dalam menerapkan kriteria onkogenesis mikroba.
Hallusinasi jarang terjadi, meskipun penilaian metodologis dan identifikasi kontradiksi tetap menjadi kerentanan persisten untuk semua model.

Hasil-hasil ini mendukung penggunaan LLM untuk sintesis bukti sistematis otomatis guna mengidentifikasi pasangan mikroba-kanker, meskipun penguatan lebih lanjut diperlukan untuk tugas analisis teks lengkap yang kompleks.

Kepentingan 2/3 arXiv cs.CL Google DeepMind OpenAI Evaluation & benchmarks Research paper

Artikel terkait

arxiv arXiv cs.CL · 38 hari lalu

Penilaian otomatis ujian Linux/bash menggunakan model bahasa besar

Studi ini mengevaluasi apakah empat Model Bahasa Besar (LLM) terdepan (GPT, Claude Opus, Gemini, dan GLM) dapat mengaproksimasi penilaian ahli saat menilai respons perintah Linux/bash yang pendek. Penelitian ini menunjukkan bahwa prompt terstruktur secara signifikan meningkatkan kesesuaian dengan penilai manusia, menetapkan kerangka kerja untuk penilaian yang dibantu AI dalam pendidikan komputing.

arxiv arXiv cs.LG · 34 hari lalu · 1 tayangan

Ekspresi persona LLM terdiri dari agregat yang robust terhadap frame dan geometri yang bergantung pada frame

Sebuah studi yang menganalisis GPT-4o mensimulasikan persona Amerika dan Tionghoa-Amerika mengungkapkan bahwa ekspresi persona LLM terdiri dari dua komponen yang dapat dipisahkan: fitur agregat dan fitur geometris. Para peneliti membangun matriks korelasi dalam-instances dari respons IPIP-50 untuk menganalisis geometri pada manifold SPD di bawah urutan pertanyaan yang dimanipulasi.

arxiv arXiv cs.AI · 34 hari lalu

Ekspresi persona LLM terdiri dari agregat yang robust terhadap frame dan geometri yang bergantung pada frame

Sebuah studi yang menganalisis GPT-4o yang mensimulasikan persona Amerika dan Tionghoa-Amerika mengungkapkan bahwa ekspresi persona LLM terdiri dari dua komponen yang dapat dipisahkan: fitur agregat dan fitur geometris. Para peneliti membangun matriks korelasi dalam-instances dari respons IPIP-50 untuk menganalisis geometri pada manifold SPD di bawah urutan pertanyaan yang dimanipulasi.

arxiv arXiv cs.CL · 35 hari lalu

GPT-5 mengungguli manusia dalam memicu keadaan kepercayaan melalui perencanaan

Sebuah studi baru mengevaluasi kemampuan Large Language Models untuk memicu keadaan kepercayaan spesifik pada agen lain melalui tindakan, bukan percakapan, sebuah kemampuan yang disebut Non-Conversational Planning ToM (NCP-ToM).

arxiv arXiv cs.CL · 36 hari lalu

Evaluasi zero-shot menunjukkan Gemini memimpin LLM pada taksonomi emosi 13 kelas

Sebuah studi mengevaluasi tiga model bahasa besar komersial—Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4), dan Gemini (gemini-2.5-flash)—pada tugas klasifikasi emosi halus zero-shot menggunakan sampel 1.000 kalimat terstratifikasi dari dataset boltuix/emotions.