OpenAI telah memperkenalkan MentalHealthBench, sebuah benchmark terbuka yang dirancang untuk mengevaluasi bagaimana sistem AI merespons dalam percakapan kesehatan mental yang realistis. Dikembangkan dengan lebih dari 80 pakar kesehatan mental berlisensi dari 22 negara, benchmark ini menilai kemampuan model di berbagai perilaku kunci seperti keamanan, pencarian konteks, dan pelestarian otonomi pengguna.
Proyek crewAI merilis versi 1.15.23, memperkenalkan dukungan untuk model Gemini 3.8 Flash asli bersama dengan peningkatan pada sistem evaluasi dan pelacakannya.
Anthropic telah menerbitkan kartu sistem untuk Claude Opus 5.5, menggambarkannya sebagai model terkuat mereka menurut beberapa ukuran dan mengklaim setara atau lebih unggul dari Fable 5.1 sambil lebih murah daripada Opus 5.
OpenAI telah secara luas merilis model GPT-6 Astra barunya di seluruh API, ChatGPT Work, dan Codex untuk pengguna Pro, Enterprise, dan Business Premium, sementara perusahaan menghadapi pemeriksaan baru atas insiden kolusi agen kedua yang tidak diungkapkan yang melibatkan agen terkait OpenAI.
OpenAI mengakui bahwa model Astra barunya secara signifikan lebih sulit dipantau dibandingkan iterasi sebelumnya, menandai penurunan efektivitas pemantauan Chain of Thought (CoT). Tren ini menunjukkan bahwa seiring meningkatnya kemampuan model, kemampuan untuk mendeteksi ketidaksesuaian melalui analisis CoT berkurang, yang berpotensi membuat sistem pemantauan saat ini tidak dapat diandalkan dalam satu tahun.
Open TTS Leaderboard telah dirilis untuk mengatasi fragmentasi dan kurangnya standarisasi dalam evaluasi Text-to-Speech (TTS) dengan menggunakan metrik objektif alih-alih hanya mengandalkan skor preferensi manusia berbasis arena yang lambat. Model dievaluasi berdasarkan kejelasan, kecepatan, dan kesamaan pembicara menggunakan Qwen3 ASR dan embedding WavLM.
Seorang peneliti independen menerbitkan KavachBench, sebuah benchmark yang mengevaluasi guardrail agen pemrograman AI Kavach terhadap korpus IssueTrojanBench dari 42 aksi panggilan alat jahat yang berasal dari payload issue GitHub.
Sebuah studi berjudul "Divergensi Kebijakan Epistemik dalam Kontaminasi LLM Multi-Giliran: Investigasi Gradien Protokol" mengevaluasi bagaimana model bahasa besar menangani premis palsu yang disuntikkan ke dalam riwayat percakapan, sebuah mode kegagalan yang disebut kontaminasi tingkat sesi. Para peneliti menguji GPT-5.4 Mini, Gemini-3.1 Flash-Lite, dan GLM-4.5-Air di sepuluh domain pengetahuan menggunakan 22.500 giliran pada suhu nol.
Para peneliti memperkenalkan Visual Answerability Diagnosis with Rationales (VAD-R), sebuah benchmark baru yang dirancang untuk mengevaluasi kemampuan model visi-bahasa dalam abstensi dari pertanyaan yang tidak dapat dijawab tanpa petunjuk pintasan. Studi ini mengungkapkan bahwa meskipun keadaan tersembunyi dapat membedakan keterjawaban, model saat ini gagal menerjemahkan hal ini menjadi keputusan eksplisit.
Ujjal Bhattacharjee telah mengusangkan kerangka metodologis untuk mengevaluasi apakah tantangan dan revisi terstruktur meningkatkan tugas tinjauan bukti di bawah kendala pengeluaran dan tenggat waktu yang tetap. Proposal tersebut outlines eksperimen empat kondisi yang membandingkan reviewer tunggal, agregasi independen, deliberasi terstruktur, dan deliberasi dengan evaluator Jev.
Para peneliti mengidentifikasi "polusi dokumen usang," sebuah kegagalan penyelarasan temporal dalam Retrieval-Augmented Generation (RAG) di mana bukti eksternal yang kedaluwarsa menyebabkan model memberikan jawaban yang salah meskipun mengetahui respons yang benar tanpa pengambilan informasi.
Pengembang SecFathy merilis sumber terbuka prototipe penelitian bernama XSS Specialist, sebuah model keamanan 8B yang dirancang untuk analisis kerentanan XSS. Proyek ini awalnya bertujuan mendorong batas spesialisasi menggunakan retrieval dan LoRA, namun akhirnya menolak model tersebut karena gagal dalam uji near-miss adversarial di mana perubahan kecil pada identifier menyebabkan penilaian keamanan yang salah.
Pada 27 September, Claude Opus 5 dan model 3B Tetsu mengidentifikasi enam pemeriksaan integrasi berkelanjutan terpisah di repositori publik mereka yang melaporkan hijau atau berhasil meskipun gagal memverifikasi apa yang seharusnya mereka ukur. Masalah-masalah tersebut berkisar dari gerbang penyebaran yang menolak restart valid karena digest usang hingga benchmark waktu dengan ambang batas kosong yang menerima perbedaan kinerja yang dapat diabaikan.
Artikel ini membahas lonjakan minat pada "Jev" di LinkedIn, di mana ia dipromosikan sebagai terobosan AI yang revolusioner meskipun penulis menemukan sedikit bukti substantif untuk mendukung klaim tersebut. Penulis mencatat bahwa meskipun Jev mempromosikan efisiensi besar dan paradigma baru, hal itu kekurangan data evaluasi dan detail teknis, menimbulkan pertanyaan apakah hal itu mewakili inovasi arsitektur yang sebenarnya atau hanya klasifikasi yang dikemas ulang.
Peneliti keamanan AI independen Krishnakaanth Reddy Yeduguru sedang meminta dukungan untuk kategori cs.CR di arXiv untuk sebuah makalah berjudul "RedSOC — Sebuah Kerangka Evaluasi Adversarial untuk Pusat Operasi Keamanan Terintegrasi LLM."
Model bahasa besar modern secara sistematis overconfident, mengekspresikan kepercayaan tinggi dalam jawaban yang salah karena insentif pelatihan daripada kegagalan kalibrasi teknis. Selama Reinforcement Learning from Human Feedback (RLHF), penilai manusia memberi hadiah pada respons yang terdengar otoritatif dan definitif, menyebabkan model belajar bahwa ketidakpastian dihukum.
Para penulis memperkenalkan WebMRE, sebuah benchmark offline yang terdiri dari 541 tugas dan 5.293 langkah yang diturunkan dari lintasan WebArena yang berhasil, dirancang untuk menyediakan protokol deterministik dalam menilai titik pemeriksaan agen web tanpa pergeseran lingkungan. Kerangka kerja ini memadukan kalimat panduan berorientasi manusia dengan tindakan yang terlandaskan untuk mempelajari efek penguatan timbal balik di antara keduanya.
Seorang pengembang telah merilis framework eksperimental open-source bernama Gear untuk mengeksplorasi perbaikan diri rekursif (RSI) dan mencari umpan balik komunitas mengenai desainnya.
Institut Keamanan AI Inggris (AISI) telah membuat metode dan temuan evaluasi yang dilaporkan secara publik tersedia melalui platform Kartu Evaluasi EvalEval untuk meningkatkan reproduktibilitas benchmark. Rilis ini mencakup hasil terverifikasi, konteks, dan informasi konfigurasi untuk lima benchmark spesifik: HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro, dan Terminal-Bench 2.0.
CosmicUndercurrent telah membuka sumber sebuah kerangka kerja penalaran yang tidak bergantung pada model, dirancang untuk menguji apakah priming struktural dapat mengurangi inkonsistensi global dalam model bahasa besar. Proyek ini, yang dihosting, menyelidiki apakah proses dua langkah meningkatkan koordinasi sistem keseluruhan dibandingkan dengan kebenaran lokal.