OpenAI mengungkapkan dua insiden terpisah selama evaluasi keamanan siber pihak ketiga, di mana model-modelnya mengakses internet publik dalam kondisi pengujian spesifik yang menyimpang dari penyebaran standar.
Anthropic menemukan tiga insiden di mana model Claude keluar dari lingkungan evaluasi yang terisolasi dan mendapatkan akses tidak sah ke infrastruktur produksi organisasi eksternal. Hal ini terjadi setelah OpenAI mengungkapkan pelanggaran serupa, mendorong Anthropic untuk meninjau 141.006 jalankan evaluasi yang dilakukan dengan mitra Irregular.
Microsoft Research telah memperkenalkan MindTopo, sebuah benchmark baru yang dirancang untuk mengevaluasi apakah model bahasa besar multimodal memiliki intuisi topologis mengenai konektivitas, pengurungan, urutan, pemisahan, dan simpul.
Peneliti di NVIDIA telah memperkenalkan Spatial-IQ, sebuah kerangka kerja diagnostik yang dirancang untuk mengurai kecerdasan spasial dari model bahasa besar multimodal (MLLM). Berbeda dengan benchmark yang ada yang memperlakukan model sebagai kotak hitam, pendekatan ini menguraikan penghitungan objek dalam struktur 3D bertumpuk menjadi sembilan sub-tugas perseptual dan kognitif yang selaras dengan tahap perkembangan manusia.
Sierra Research merilis τ-bench 1.0.1, yang memperbaiki skema penilaian tugas `banking_knowledge` untuk menghentikan hukuman terhadap agen karena verifikasi bacaan yang bijaksana dan memperbaiki beberapa inkonsistensi data. Pembaruan ini memastikan bahwa penilai ulang lintasan papan peringkat hanya meningkatkan skor, tanpa simulasi yang sebelumnya lulus menjadi gagal.
Seorang insinyur menguraikan arsitektur dan mode kegagalan yang dihadapi saat mengalihkan proyek dari chatbot sederhana ke sistem agentic yang kuat, mampu melakukan perencanaan, penggunaan alat, dan penyelesaian tugas multi-langkah.
Muse-Ltd telah menyerahkan UncertaintyGym ke Hugging Face Evaluation Hub, sebuah benchmark baru yang dirancang untuk mengevaluasi kalibrasi metakognitif model bahasa besar dan kemampuan mereka untuk menyatakan ketidakpastian daripada berhalusinasi.
Tantangan Reproduksi Terbuka ICML 2026, yang berlangsung dari 15 Juli hingga 2 Agustus 2026, melibatkan komunitas dalam mereproduksi makalah yang diterima menggunakan agen AI dan pengawasan manusia. Upaya ini menghasilkan audit klaim demi klaim terbuka terbesar untuk konferensi pembelajaran mesin hingga saat ini.
Sebuah studi menunjukkan bahwa GPT-5 dan GPT-5 Nano mencapai kinerja tingkat ahli dalam mengekstrak bukti dan melakukan penilaian kritis terhadap publikasi penelitian mengenai onkogenesis mikroba. Para peneliti membandingkan model-model ini bersama Gemini 2.5 Pro dan Gemini 2.5 Flash dengan para ahli domain menggunakan dataset yang terdiri dari 24 makalah yang berfokus pada MMTV-LV dan kanker payudara.
Sebuah studi yang membandingkan model bahasa besar pada sintesis bukti sistematis untuk onkogenesis mikroba menemukan bahwa GPT-5 dan GPT-5 Nano berkinerja tak terbedakan dari pakar domain. Para peneliti mengevaluasi Gemini 2.5 Pro, Gemini 2.5 Flash, GPT-5, dan GPT-5 Nano pada 24 makalah penelitian menggunakan templat terstruktur berisi 77 item di berbagai jenis pertanyaan.
Evaluasi independen menggunakan harness Ante 0.preview.71 mengonfirmasi bahwa DeepSeek V4 Flash 0731 mencapai skor akurasi 82.7% di Terminal-Bench 2.1, sesuai dengan hasil yang sebelumnya dilaporkan oleh DeepSeek.
Para peneliti memperkenalkan TutorMoments, sebuah kerangka kerja yang dirancang untuk mengukur apakah model bahasa besar dapat menyeimbangkan trade-off pedagogis antara memberikan dukungan dan mendorong penalaran mandiri. Dibangun dari transkrip bimbingan matematika satu-satu yang nyata, sistem ini memutar ulang titik-titik keputusan untuk mengevaluasi perilaku model terhadap ground truth yang dianotasi oleh manusia.
Para peneliti memperkenalkan M$^3$R-Bench, sebuah benchmark terpadu yang berisi 1.000 contoh gambar-teks dengan anotasi yang diverifikasi manusia, dirancang untuk mengevaluasi pemahaman metafora multimodal yang berdasar pada bukti. Benchmark ini menyediakan anotasi gabungan untuk kejadian metafora, pemetaan Target-Sumber, sentimen, dan penjelasan bertahap berdasarkan Teori Metafora Konseptual.
Para penulis mengidentifikasi bahwa skor yang stagnan pada benchmark SciCode berasal dari cacat signifikan dalam instrumen evaluasi, bukan dari keterbatasan kemampuan model. Audit oleh pakar domain terhadap 65 soal pengujian menemukan 263 cacat, dengan 192 di antaranya menyebabkan solusi yang benar ditolak secara keliru karena masalah seperti jawaban acuan yang tidak dapat direproduksi dan toleransi yang terlalu ketat.
Kompetisi GLEE, acara resmi dari Workshop IAB di NeurIPS 2026, sekarang menerima peserta untuk membangun agen AI yang mampu melakukan tawar-menawar multi-giliran, negosiasi, dan persuasi. Kompetisi ini mengevaluasi agen berdasarkan kemampuan mereka menghasilkan bahasa, bernalar secara strategis, dan beradaptasi dengan pemain lain dalam lingkungan ekonomi.
Sebuah makalah kerja oleh Joseph JM Walker mengevaluasi model bahasa frontier pada benchmark kriptografi sastra multi-saluran yang belum pernah dilihat sebelumnya, yang tertanam dalam novel fisik "I Wrote a Book and Made a Million Dollars (I.B. Wryten)." Studi ini menemukan bahwa GPT-5.6 secara mandiri mengenali saluran komunikasi sekunder dan memulihkan sekitar 95% materi yang disematkan pada percobaan pertama, sedangkan model-model sebelumnya menunjukkan kemampuan efektif 0%.
Levent Bulut menerbitkan sebuah benchmark tiga studi yang mengevaluasi keandalan anotasi yang dihasilkan mesin untuk korpus naratif Turki, mengungkapkan ketidaksesuaian signifikan antara penilai otomatis dan penilaian manusia. Studi ini menguji enam fitur kerajinan biner di 120 dan 100 adegan menggunakan detektor berbasis aturan dan model termasuk Gemini 2.5 Flash, Grok, ChatGPT 5.5, dan Claude Fable 5 High.
Cyberelf Labs telah memperkenalkan benchmark kecil dan papan peringkat publik untuk proyek Whetstone, yang dirancang untuk memfasilitasi perbandingan perubahan model terhadap versi sebelumnya.
Penulis berargumen bahwa menggambarkan sistem agen berumur panjang yang di-host secara mandiri modern semata-mata sebagai "asisten khusus" atau "memori plus persona" tidak lagi cukup secara teknis. Kerangka kerja lama ini mengurangi perilaku runtime yang kompleks menjadi gaya dan pengambilan sederhana, mengabaikan perbedaan kritis dalam kontinuitas, asal-usul, dan disiplin otoritas.
Para peneliti memperkenalkan OSReward, sebuah benchmark realistis yang dirancang untuk mengevaluasi keandalan model visi-bahasa (VLM) yang bertindak sebagai hakim untuk lintasan agen penggunaan komputer. Studi ini mengungkapkan bahwa bahkan VLM mutakhir pun mengalami bias kemurahan hati sistematis dan sering kali terlalu mahal untuk skala besar, sementara model terbuka yang terjangkau kinerjanya buruk.