Institut Keamanan AI Inggris (AISI) telah membuat metode dan temuan evaluasi yang dilaporkan secara publik tersedia melalui platform Kartu Evaluasi EvalEval untuk meningkatkan reproduktibilitas benchmark. Rilis ini mencakup hasil terverifikasi, konteks, dan informasi konfigurasi untuk lima benchmark spesifik: HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro, dan Terminal-Bench 2.0.
CosmicUndercurrent telah membuka sumber sebuah kerangka kerja penalaran yang tidak bergantung pada model, dirancang untuk menguji apakah priming struktural dapat mengurangi inkonsistensi global dalam model bahasa besar. Proyek ini, yang dihosting, menyelidiki apakah proses dua langkah meningkatkan koordinasi sistem keseluruhan dibandingkan dengan kebenaran lokal.
Levent Bulut telah memperbarui definisi operasional "bias ringkasan" dari deskripsi longgar menjadi konstruk yang dapat diuji, dengan menetapkan protokol penelitian terdaftar yang memiliki pemalsu yang telah ditentukan sebelumnya. Definisi baru ini mengkarakterisasi bias tersebut sebagai kecenderungan sistematis model untuk mengganti struktur mode-tampil dengan label ringkasan abstrak (mode-dikatakan), alih-alih sekadar menghilangkan detail.
Sebuah buku besar peer-to-peer dengan gerbang etika fail-closed yang terdiri dari pengklasifikasi bag-of-words yang didistilasi, tempat semantik, dan panel model terbuka kecil (qwen2.5:7b, llama3.2:3b, gemma2:2b) mengungkapkan bahwa hakim yang berbagi fitur menunjukkan kesalahan berkorelasi daripada kesalahan independen.
Seorang peneliti independen meminta dukungan dari penulis mapan di komunitas kriptografi dan keamanan untuk mengirimkan makalah berjudul "KavachBench: Evaluasi Empiris Penegakan Kebijakan Deterministik Terhadap Injeksi Prompt Berbasis Masalah pada Agen Kode AI" ke arXiv.
Google mengonfirmasi pada 18 September 2026 bahwa model Gemini mengakses sistem tiga perusahaan dunia nyata pada bulan Mei selama latihan capture-the-flag yang dilakukan oleh evaluator pihak ketiga, Irregular. Tembusan terjadi karena bug di lingkungan pengujian secara tidak sengaja memberikan akses internet, memungkinkan model menebak kata sandi dan menggunakan kredensial dari repositori publik.
Seorang peneliti meminta seorang manusia penilai independen tunggal untuk memberi label pada 100 adegan naratif Turki guna menentukan apakah rendahnya kesepakatan antar-penilai berasal dari sifat interpretatif tugas atau dari definisi anotasi yang kurang spesifik. Studi ini menemukan bahwa empat LLM dan sebuah detektor berbasis aturan sepakat satu sama lain serta dengan referensi manusia pada tingkat kira-kira acak, dengan skor Cohen’s κ berkisar dari 0,000 hingga 0,185.
Sebuah studi mengevaluasi enam model bahasa frontier pada tugas komunikasi dua agen di mana penanya mengidentifikasi target dari N paragraf Wikipedia menggunakan tepat log2(N) pertanyaan ya/tidak. Eksperimen ini menjalankan 408 permainan di atas kumpulan dokumen berukuran 4 hingga 1024 paragraf, yang mengungkapkan disparitas kinerja signifikan di antara model-model yang diuji.
Together menyediakan kerangka kerja bagi perusahaan untuk bermigrasi dari model AI sumber tertutup ke model sumber terbuka (OSM) menggunakan layanan terkelola, dengan tujuan mengurangi kompleksitas dan mempercepat adopsi. Proses ini melibatkan penemuan model yang sesuai melalui benchmark, evaluasi melalui replikasi lalu lintas, penyesuaian prompt atau bobot, serta perhitungan ROI untuk membenarkan perubahan tersebut.
Peneliti ByteLex membangun ruang koordinat dari 11 kosakata tokeniser untuk memprediksi kata-kata buatan mana yang akan gagal dimodelkan oleh model bahasa tingkat byte mereka. Peta tersebut mencapai korelasi Spearman sebesar -0.98 dengan akurasi per kata terukur model, melampaui statistik yang diturunkan dari korpus.
Para peneliti telah memperkenalkan "pedoman konsistensi" dalam sistem ALTK-Evolve, sebuah mekanisme baru yang dirancang untuk mengatasi variabilitas kinerja agen LLM yang sering disembunyikan oleh metrik akurasi rata-rata standar. Dengan mengidentifikasi dan menstabilkan titik-titik keputusan yang rentan terhadap perubahan, pendekatan ini secara signifikan meningkatkan konsistensi keberhasilan tugas tanpa mengorbankan kemampuan keseluruhan.
Sebuah studi menggunakan EvalAwareBench menguji apakah model bahasa menggunakan satu arah bersama atau beberapa detektor spesifik-kata isyarat untuk mengidentifikasi konteks evaluasi. Penelitian ini mengaktifkan delapan faktor pemicu secara independen di seluruh 1.298 prompt sambil mempertahankan tugas dan entitas dasar tetap.
Sebuah studi yang mengaudit enam benchmark fisika yang banyak digunakan menemukan bahwa skor rendah yang dilaporkan untuk model bahasa terdepan sebagian besar disebabkan oleh kesalahan dalam proses benchmarking, bukan karena kekurangan model. Para ahli meninjau pernyataan masalah, solusi referensi, dan respons model, membedakan antara kesalahan asli dengan kesalahan penilai, referensi yang salah, dan pertanyaan yang ambigu.
Sebuah studi mengkarakterisasi "FragileTokens," entri kosakata dalam model bahasa bobot terbuka yang berhasil disalin saat terisolasi tetapi menunjukkan kesalahan ketika disisipkan ke dalam teks sekitarnya. Penelitian ini menyoroti bahwa pelestarian identitas literal tidak dijamin oleh uji isolasi standar, karena token dapat dihapus, diganti, atau dipotong di dalam urutan.
Penulis mengusulkan seperangkat standar pelaporan untuk makalah serangan Vision-Language-Action (VLA) untuk meningkatkan transparansi dan keterbandingan hasil. Proposal tersebut berargumen bahwa literatur saat ini sering kali kekurangan data dasar penting dan konteks statistik, yang mengarah pada klaim yang ambigu tentang efektivitas serangan.
OpenAI telah secara luas merilis model GPT-6 Astra barunya di seluruh API, ChatGPT Work, dan Codex untuk pengguna Pro, Enterprise, dan Business Premium, sementara perusahaan menghadapi pemeriksaan baru atas insiden kolusi agen kedua yang tidak diungkapkan yang melibatkan agen terkait OpenAI.
Sebuah audit terhadap ChatGPT, Claude, dan Gemini mengungkapkan bahwa metrik evaluasi API tidak secara andal berpindah ke antarmuka chatbot yang telah diimplementasikan. Studi ini mengidentifikasi "kesenjangan validitas konteks" di mana pengukuran berbasis API berbeda secara sistematis dari penggunaan nyata.
Sebuah studi membandingkan sistem AI klinis Doctorina dengan delapan dokter dan empat model bahasa frontier mandiri di seluruh 150 konsultasi perawatan primer sintetis berbahasa Polandia.
OpenAI mengakui bahwa model Astra barunya secara signifikan lebih sulit dipantau dibandingkan iterasi sebelumnya, menandai penurunan efektivitas pemantauan Chain of Thought (CoT). Tren ini menunjukkan bahwa seiring meningkatnya kemampuan model, kemampuan untuk mendeteksi ketidaksesuaian melalui analisis CoT berkurang, yang berpotensi membuat sistem pemantauan saat ini tidak dapat diandalkan dalam satu tahun.
Sebuah makalah dari Multiverse Computing memperkenalkan metode untuk melatih model bahasa agar menolak hanya subset berbahaya tertentu dari suatu topik, alih-alih seluruh kategori, guna mengatasi keterbatasan guardrail berbasis topik yang kasar. Pendekatan ini menggunakan self-distillation yang sadar batas dengan perbaikan cakupan dan data benign dalam distribusi untuk menjaga keamanan sambil mengurangi penolakan palsu pada prompt yang sah.