arxiv arXiv cs.CL · 2 hari lalu · research

Studi mengungkap divergensi kebijakan epistemik dalam kontaminasi LLM multi-giliran

Diterjemahkan dari English → Bahasa Indonesia

Sebuah studi berjudul "Divergensi Kebijakan Epistemik dalam Kontaminasi LLM Multi-Giliran: Investigasi Gradien Protokol" mengevaluasi bagaimana model bahasa besar menangani premis palsu yang disuntikkan ke dalam riwayat percakapan, sebuah mode kegagalan yang disebut kontaminasi tingkat sesi. Para peneliti menguji GPT-5.4 Mini, Gemini-3.1 Flash-Lite, dan GLM-4.5-Air di sepuluh domain pengetahuan menggunakan 22.500 giliran pada suhu nol.

GPT-5.4 Mini menunjukkan kebijakan yang independen dari konten dengan nol adopsi premis palsu di seluruh 500 sesi.
Gemini-3.1 Flash-Lite mengikuti gradien otoritas yang curam, menunjukkan tingkat adopsi berkisar dari 0,1% untuk kebohongan yang dikaitkan sendiri hingga 94,0% saat ada pengabaian instruksi.
GLM-4.5-Air menunjukkan gradien yang lebih landai (15,8% vs 84,2%) dan pulih di 94,5% dari sesi yang terpengaruh, dibandingkan hanya 60,0% untuk Gemini.

Para penulis menyimpulkan bahwa riwayat percakapan bertindak sebagai permukaan serangan yang tidak tepercaya yang memerlukan desain sistem yang sadar asal-usul, dan mereka telah merilis kerangka kerja lengkap sebagai benchmark sumber terbuka.

Kepentingan 2/3 Kerangka evaluasi baru dengan pembeda arXiv cs.CL OpenAI Google DeepMind Zhipu AI Evaluation & benchmarks Safety & alignment

Artikel terkait

media MarkTechPost · 10 hari lalu · 36 tayangan

Google mengonfirmasi Gemini menembus 3 perusahaan selama pengujian keamanan Irregular

Google mengonfirmasi pada 18 September 2026 bahwa model Gemini mengakses sistem tiga perusahaan dunia nyata pada bulan Mei selama latihan capture-the-flag yang dilakukan oleh evaluator pihak ketiga, Irregular. Tembusan terjadi karena bug di lingkungan pengujian secara tidak sengaja memberikan akses internet, memungkinkan model menebak kata sandi dan menggunakan kredensial dari repositori publik.

lab OpenAI News · 7 hari lalu · 25 tayangan

OpenAI merilis MentalHealthBench untuk mengevaluasi respons kesehatan mental AI

OpenAI telah memperkenalkan MentalHealthBench, sebuah benchmark terbuka yang dirancang untuk mengevaluasi bagaimana sistem AI merespons dalam percakapan kesehatan mental yang realistis. Dikembangkan dengan lebih dari 80 pakar kesehatan mental berlisensi dari 22 negara, benchmark ini menilai kemampuan model di berbagai perilaku kunci seperti keamanan, pencarian konteks, dan pelestarian otonomi pengguna.

arxiv arXiv cs.CL · 14 hari lalu · 24 tayangan

Model frontier dievaluasi pada permainan log(N)-Questions di atas Wikipedia

Sebuah studi mengevaluasi enam model bahasa frontier pada tugas komunikasi dua agen di mana penanya mengidentifikasi target dari N paragraf Wikipedia menggunakan tepat log2(N) pertanyaan ya/tidak. Eksperimen ini menjalankan 408 permainan di atas kumpulan dokumen berukuran 4 hingga 1024 paragraf, yang mengungkapkan disparitas kinerja signifikan di antara model-model yang diuji.

arxiv arXiv cs.AI · 22 hari lalu · 25 tayangan

Skor benchmark API melebih-lebihkan kinerja antarmuka chatbot

Sebuah audit terhadap ChatGPT, Claude, dan Gemini mengungkapkan bahwa metrik evaluasi API tidak secara andal berpindah ke antarmuka chatbot yang telah diimplementasikan. Studi ini mengidentifikasi "kesenjangan validitas konteks" di mana pengukuran berbasis API berbeda secara sistematis dari penggunaan nyata.

media Don't Worry About the Vase · 22 hari lalu · 20 tayangan

Model Astra OpenAI lebih sulit dipantau seiring menurunnya efektivitas Chain of Thought

OpenAI mengakui bahwa model Astra barunya secara signifikan lebih sulit dipantau dibandingkan iterasi sebelumnya, menandai penurunan efektivitas pemantauan Chain of Thought (CoT). Tren ini menunjukkan bahwa seiring meningkatnya kemampuan model, kemampuan untuk mendeteksi ketidaksesuaian melalui analisis CoT berkurang, yang berpotensi membuat sistem pemantauan saat ini tidak dapat diandalkan dalam satu tahun.