lab Hugging Face Blog · 2 jam lalu · releases

TutorMoments mengevaluasi apakah tutor AI tahu kapan harus membantu atau menahan diri

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti memperkenalkan TutorMoments, sebuah kerangka kerja yang dirancang untuk mengukur apakah model bahasa besar dapat menyeimbangkan trade-off pedagogis antara memberikan dukungan dan mendorong penalaran mandiri. Dibangun dari transkrip bimbingan matematika satu-satu yang nyata, sistem ini memutar ulang titik-titik keputusan untuk mengevaluasi perilaku model terhadap ground truth yang dianotasi oleh manusia.

Evaluasi menggunakan 462 transkrip yang telah dihapus identitasnya dari siswa AS di kelas 2-7, yang dianotasi oleh guru berpengalaman yang menandai momen-momen yang memerlukan scaffolding atau ketelitian. Model-model yang diuji cenderung terlalu membantu ketika diberi prompt polos, tetapi kinerja meningkat ketika prompt secara eksplisit mendefinisikan trade-off antara membantu dan menahan diri. Meskipun ada peningkatan, LLM masih sangat bervariasi dalam keandalan dan menggunakan lebih sedikit strategi daripada tutor manusia, sering kali gagal mencocokkan penilaian nuansa dari pendidik berpengalaman. Tim merilis dataset, kode untuk pipeline replay, dan model replays untuk membantu peneliti membangun tutor AI yang beradaptasi dengan kebutuhan siswa, bukan mengerjakan tugas untuk mereka.

Kepentingan 1/3 Kerangka evaluasi baru dengan pembeda Kepercayaan 1/3 Hugging Face Blog OpenAI AI agents Evaluation & benchmarks

Artikel terkait

arxiv arXiv cs.AI · 32 hari lalu · 1 tayangan

EvoPolicyGym memperkenalkan benchmark untuk mengevaluasi evolusi kebijakan otonom

Para penulis memperkenalkan Autonomous Policy Evolution, sebuah pengaturan evaluasi terkontrol di mana agen secara berulang mengedit sistem kebijakan yang dapat dieksekusi dalam anggaran interaksi tetap untuk secara iteratif meningkatkan kebijakan yang dieksplorasi.

arxiv arXiv cs.CL · 33 hari lalu

GPT-5 mengungguli manusia dalam memicu keadaan kepercayaan melalui perencanaan

Sebuah studi baru mengevaluasi kemampuan Large Language Models untuk memicu keadaan kepercayaan spesifik pada agen lain melalui tindakan, bukan percakapan, sebuah kemampuan yang disebut Non-Conversational Planning ToM (NCP-ToM).

arxiv arXiv cs.CL · 36 hari lalu · 2 tayangan

EvoPolicyGym: Mengevaluasi Evolusi Kebijakan Otomatis di Lingkungan Interaktif

Artikel ini memperkenalkan EvoPolicyGym, sebuah benchmark yang dirancang untuk mengevaluasi bagaimana agen secara iteratif meningkatkan kebijakan yang dapat dieksekusi melalui umpan balik dalam batas interaksi tetap. Pengaturan terkontrol ini mengatasi keterbatasan evaluasi yang ada yang sering kali meruntuhkan proses menjadi skor akhir atau mencampuradukkannya dengan kemajuan teknik perangkat lunak.

arxiv arXiv cs.CL · 38 hari lalu · 1 tayangan

Keadaan Atraktor Muncul dalam Percakapan LLM Multi-Gilir

Sebuah penelitian menyelidiki apakah diskusi model bahasa besar terbuka menunjukkan perilaku mirip atraktor dengan menganalisis lintasan pada tujuh model dan dua puluh topik kontroversial. Penelitian ini membandingkan debat diadik permainan mandiri dan permainan campuran untuk memahami bagaimana percakapan menetap ke dalam himpunan perilaku yang stabil.

lab OpenAI News · 4 jam lalu · 3 tayangan

Anthropic menghentikan pengembangan Astra setelah evaluasi internal menunjukkan kemampuan siber kritis

Anthropic telah menghentikan aktivitas internal yang melibatkan model terbarunya, Astra, karena evaluasi terbaru menunjukkan bahwa model tersebut mungkin memiliki kemampuan keamanan siber kritis di bawah Kerangka Kerja Kesiapan perusahaan. Perusahaan tidak dapat menyingkirkan kemungkinan bahwa model tersebut dapat mengidentifikasi dan mengembangkan eksploit nol-hari fungsional dalam sistem dunia nyata yang diperkuat tanpa intervensi manusia.