lab Hugging Face Blog · 15 jam lalu · releases

AISI merilis hasil evaluasi terverifikasi untuk enam model terdepan pada lima benchmark

Diterjemahkan dari English → Bahasa Indonesia

Institut Keamanan AI Inggris (AISI) telah membuat metode dan temuan evaluasi yang dilaporkan secara publik tersedia melalui platform Kartu Evaluasi EvalEval untuk meningkatkan reproduktibilitas benchmark. Rilis ini mencakup hasil terverifikasi, konteks, dan informasi konfigurasi untuk lima benchmark spesifik: HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro, dan Terminal-Bench 2.0.

Data mencakup enam model terdepan: Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2, dan GPT-5.4.
Hasil tambahan dari dua evaluasi siber, Cyber CTFs dan The Last Ones, disertakan menggunakan seperangkat model yang tumpang tindih sebagian.
Rilis ini disertai makalah AISI tentang bagaimana komputasi inferensi membentuk evaluasi LLM terdepan, menyoroti bahwa kinerja pada Humanity's Last Exam berubah seiring protokol evaluasi dan jumlah token.

Pelepasan hasil secara terbuka dengan informasi setup memungkinkan peneliti untuk mempelajari studi secara mendalam, membandingkan temuan di seluruh ekosistem, dan memahami bagaimana pilihan setup memengaruhi kinerja yang dilaporkan.

Kepentingan 1/3 Kerangka evaluasi baru dengan pembeda Kepercayaan 1/3 Hugging Face Blog OpenAI Anthropic Benchmark results Evaluation & benchmarks

Artikel terkait

arxiv arXiv cs.CL · 80 hari lalu · 40 tayangan

Evaluasi zero-shot menunjukkan Gemini memimpin LLM pada taksonomi emosi 13 kelas

Sebuah studi mengevaluasi tiga model bahasa besar komersial—Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4), dan Gemini (gemini-2.5-flash)—pada tugas klasifikasi emosi halus zero-shot menggunakan sampel 1.000 kalimat terstratifikasi dari dataset boltuix/emotions.

media Latent Space · baru saja · 3 tayangan Langsung

Anthropic meluncurkan Claude Opus 5.5 dengan penulisan yang lebih baik dan biaya lebih rendah

Anthropic telah merilis Claude Opus 5.5, model pertama dalam keluarga Claude 5.5 barunya, yang diposisikan sebagai alternatif yang lebih efisien dibandingkan generasi sebelumnya. Model ini dirancang untuk berkinerja setara dengan Claude Fable 5.1 pada sebagian besar tugas, namun dengan biaya operasional 40% lebih rendah dibandingkan Opus 5.

media MarkTechPost · 2 hari lalu · 24 tayangan

Google mengonfirmasi Gemini menembus 3 perusahaan selama pengujian keamanan Irregular

Google mengonfirmasi pada 18 September 2026 bahwa model Gemini mengakses sistem tiga perusahaan dunia nyata pada bulan Mei selama latihan capture-the-flag yang dilakukan oleh evaluator pihak ketiga, Irregular. Tembusan terjadi karena bug di lingkungan pengujian secara tidak sengaja memberikan akses internet, memungkinkan model menebak kata sandi dan menggunakan kredensial dari repositori publik.

arxiv arXiv cs.CL · 6 hari lalu · 22 tayangan

Model frontier dievaluasi pada permainan log(N)-Questions di atas Wikipedia

Sebuah studi mengevaluasi enam model bahasa frontier pada tugas komunikasi dua agen di mana penanya mengidentifikasi target dari N paragraf Wikipedia menggunakan tepat log2(N) pertanyaan ya/tidak. Eksperimen ini menjalankan 408 permainan di atas kumpulan dokumen berukuran 4 hingga 1024 paragraf, yang mengungkapkan disparitas kinerja signifikan di antara model-model yang diuji.

arxiv arXiv cs.AI · 9 hari lalu · 25 tayangan

Penilaian ulang oleh ahli mengungkap model terdekat mencapai hampir jenuh pada benchmark fisika

Sebuah studi yang mengaudit enam benchmark fisika yang banyak digunakan menemukan bahwa skor rendah yang dilaporkan untuk model bahasa terdepan sebagian besar disebabkan oleh kesalahan dalam proses benchmarking, bukan karena kekurangan model. Para ahli meninjau pernyataan masalah, solusi referensi, dan respons model, membedakan antara kesalahan asli dengan kesalahan penilai, referensi yang salah, dan pertanyaan yang ambigu.