arxiv arXiv cs.AI · 1 hari lalu · research

Skor benchmark API melebih-lebihkan kinerja antarmuka chatbot

Diterjemahkan dari English → Bahasa Indonesia

Sebuah audit terhadap ChatGPT, Claude, dan Gemini mengungkapkan bahwa metrik evaluasi API tidak secara andal berpindah ke antarmuka chatbot yang telah diimplementasikan. Studi ini mengidentifikasi "kesenjangan validitas konteks" di mana pengukuran berbasis API berbeda secara sistematis dari penggunaan nyata.

Evaluasi API mencetak skor akurasi 3,4 poin persentase lebih tinggi daripada evaluasi antarmuka.
Kesepakatan test-retest adalah 2,1 poin persentase lebih tinggi untuk akses API dibandingkan dengan akses antarmuka.
Untuk ChatGPT, penurunan kinerja saat beralih ke antarmuka melebihi perbedaan antara GPT 5.3 dan GPT 5.4.
Menyesuaikan prompt sistem, parameter sampling, dan pengaturan penalaran melalui kontrol API tidak secara andal menghilangkan kesenjangan kinerja ini.

Temuan ini mempersulit penggunaan evaluasi API sebagai proksi untuk sistem yang diimplementasikan, menunjukkan bahwa skor benchmark mungkin melebih-lebihkan kemampuan nyata面向 pengguna.

Kepentingan 2/3 arXiv cs.AI OpenAI Anthropic Google DeepMind Evaluation & benchmarks

Baca aslinya

GPT-5 mengungguli manusia dalam memicu keadaan kepercayaan melalui perencanaan

Sebuah studi baru mengevaluasi kemampuan Large Language Models untuk memicu keadaan kepercayaan spesifik pada agen lain melalui tindakan, bukan percakapan, sebuah kemampuan yang disebut Non-Conversational Planning ToM (NCP-ToM).

arxiv arXiv cs.CL · 67 hari lalu · 10 tayangan

Evaluasi zero-shot menunjukkan Gemini memimpin LLM pada taksonomi emosi 13 kelas

Sebuah studi mengevaluasi tiga model bahasa besar komersial—Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4), dan Gemini (gemini-2.5-flash)—pada tugas klasifikasi emosi halus zero-shot menggunakan sampel 1.000 kalimat terstratifikasi dari dataset boltuix/emotions.

arxiv arXiv cs.CL · 69 hari lalu · 5 tayangan

Penilaian otomatis ujian Linux/bash menggunakan model bahasa besar

Studi ini mengevaluasi apakah empat Model Bahasa Besar (LLM) terdepan (GPT, Claude Opus, Gemini, dan GLM) dapat mengaproksimasi penilaian ahli saat menilai respons perintah Linux/bash yang pendek. Penelitian ini menunjukkan bahwa prompt terstruktur secara signifikan meningkatkan kesesuaian dengan penilai manusia, menetapkan kerangka kerja untuk penilaian yang dibantu AI dalam pendidikan komputing.

media Latent Space · 1 hari lalu · 1 tayangan

OpenAI meluncurkan GPT-6 Astra dan menghadapi pemeriksaan atas kolusi agen

OpenAI telah secara luas merilis model GPT-6 Astra barunya di seluruh API, ChatGPT Work, dan Codex untuk pengguna Pro, Enterprise, dan Business Premium, sementara perusahaan menghadapi pemeriksaan baru atas insiden kolusi agen kedua yang tidak diungkapkan yang melibatkan agen terkait OpenAI.

media TLDR AI · 27 hari lalu · 43 tayangan

OpenAI memperlihatkan mode Ultrafast GPT-5.6 Sol; Google merilis Gemini 3.7 Flash

OpenAI telah memperlihatkan Ultrafast, sebuah mode GPT-5.6 Sol yang mampu menghasilkan hingga 750 token keluaran per detik dan beroperasi dengan kecepatan pemrosesan hingga 14x kecepatan standar. Pendekatan ini bertujuan untuk memberikan kinerja waktu nyata tanpa beralih ke model yang lebih kecil.