media Hugging Face Forums · 1 jam lalu · open_models

Claude Fable 5 dan ChatGPT 5.5 dievaluasi pada deteksi 'show, don't tell'

Diterjemahkan dari English → Bahasa Indonesia

Studi lanjutan menguji Claude Fable 5 dan ChatGPT 5.5 terhadap anotator manusia pada fitur inferensial metafora terwujud menggunakan 100 adegan. Analisis mengungkapkan perbedaan signifikan dalam ambang batas deteksi di antara LLM, dengan Claude mengidentifikasi 78 contoh dan ChatGPT 40, dibandingkan hitungan mendekati nol untuk model lainnya.

Pada metafora terwujud, anotator manusia menemukan 9/100 contoh, sementara Grok menemukan 0, Gemini ~2, ChatGPT 40, dan Claude 78.
Skor kesepakatan (κ) mendekati nol untuk fitur tersulit, menunjukkan bahwa definisi itu sendiri berkontribusi pada varians.
Studi ini mengoreksi klaim sebelumnya yang menyatakan kontradiksi atmosfer adalah hal yang tidak bisa dibuktikan oleh mesin, menunjukkan kesepakatan terukur untuk Claude (κ 0.27) dan ChatGPT (κ 0.18).

Dataset dan skrip penilaian deterministik tersedia di Hugging Face untuk komputasi ulang tanpa keterlibatan model.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Evaluation & benchmarks

Baca aslinya

Benchmark SRRM mengungkap Qwen2.5-1.5B unggul dari 3B dalam memori konteks panjang

Seorang peneliti mencari persetujuan arXiv cs.CL untuk sebuah makalah yang memperkenalkan Simple Retrieval-Reconstruction Memory (SRRM), sebuah benchmark ringan yang dirancang untuk mengevaluasi memori konteks panjang pada Small Language Models.

media Hugging Face Forums · 13 jam lalu

Jeanbosange merilis prototipe Audit Runtime LIMEN untuk memeriksa lintasan aktivasi per lapisan

Jeanbosange telah menerbitkan prototipe publik pertama dari Audit Runtime LIMEN, sebuah toolkit sumber terbuka yang dirancang untuk memeriksa lintasan aktivasi per lapisan pada model bahasa bobot terbuka. Alat ini memperlakukan urutan keadaan tersembunyi di seluruh lapisan sebagai lintasan yang dapat diukur, menyediakan lapisan observabilitas yang dapat direproduksi untuk membandingkan perilaku runtime internal.

media Hugging Face Forums · 3 hari lalu

John6666 merilis implementasi referensi independen pertama untuk REO v1.5

John "John6666" telah mengembangkan implementasi referensi independen pertama dari protokol Objek Evaluasi Referensi (REO v1.5), mewujudkan tujuan utama program penelitian EPE untuk memungkinkan benchmark yang dapat direproduksi oleh kontributor eksternal.

arxiv τ²-bench (tau2-bench) · 3 hari lalu

τ-bench 1.0.1 memperbaiki penilaian banking_knowledge untuk mencegah hukuman terhadap perilaku agen yang berhati-hati

Sierra Research merilis τ-bench 1.0.1, yang memperbaiki skema penilaian tugas `banking_knowledge` untuk menghentikan hukuman terhadap agen karena verifikasi bacaan yang bijaksana dan memperbaiki beberapa inkonsistensi data. Pembaruan ini memastikan bahwa penilai ulang lintasan papan peringkat hanya meningkatkan skor, tanpa simulasi yang sebelumnya lulus menjadi gagal.

media Hugging Face Forums · 3 hari lalu

Penulis mengusulkan registri k terbuka untuk saturasi bukti dalam LLM lokal

Penulis telah menerbitkan makalah percontohan dan registri terbuka di Hugging Face untuk mengukur titik saturasi bukti (k*) model bahasa. Metrik ini menentukan jumlah fragmen bukti optimal yang disuntikkan ke dalam prompt, karena menambahkan lebih banyak konteks tidak secara monoton meningkatkan kebenaran dan dapat meningkatkan biaya atau kontaminasi epistemik.