media Hugging Face Forums · 16 jam lalu · open_models

Linda-Pro merilis detektor teks AI lokal berbahasa Inggris menggunakan stilometri dan DeBERTa

Diterjemahkan dari English → Bahasa Indonesia

Linda-Pro adalah alat lokal baru untuk mendeteksi teks bahasa Inggris yang dihasilkan AI yang menggabungkan stilometri dengan dua model DeBERTa yang telah di-fine-tune. Ini menganalisis teks dalam jendela sekitar 300 kata dan menyediakan peta panas per kalimat untuk mengidentifikasi penulis campuran.

Pada benchmark Chicago Booth, ia mencapai deteksi 99,7% untuk teks AI polos dan 85% setelah humanisasi StealthGPT pada 1% false positives.
Ini menandai 92,6% teks dari generator yang tidak pernah dilihat model selama pelatihan.
Titik lemah termasuk esai ujian TOEFL dengan 8,8% false positives (dikurangi menjadi 1,1% dalam mode presisi), teks yang di-humanisasi, dan teks pendek.

Bobot model tersedia untuk penggunaan penelitian gratis di Hugging Face, dan kode disediakan di GitHub untuk evaluasi lokal.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Evaluation & benchmarks Open weights

Baca aslinya

Together menguraikan strategi migrasi dari model sumber tertutup ke sumber terbuka

Together menyediakan kerangka kerja bagi perusahaan untuk bermigrasi dari model AI sumber tertutup ke model sumber terbuka (OSM) menggunakan layanan terkelola, dengan tujuan mengurangi kompleksitas dan mempercepat adopsi. Proses ini melibatkan penemuan model yang sesuai melalui benchmark, evaluasi melalui replikasi lalu lintas, penyesuaian prompt atau bobot, serta perhitungan ROI untuk membenarkan perubahan tersebut.

arxiv arXiv cs.CL · 63 hari lalu · 26 tayangan

OSReward memperkenalkan evaluasi terstandarisasi untuk model hadiah penggunaan komputer lintas platform

Para peneliti memperkenalkan OSReward, sebuah benchmark realistis yang dirancang untuk mengevaluasi keandalan model visi-bahasa (VLM) yang bertindak sebagai hakim untuk lintasan agen penggunaan komputer. Studi ini mengungkapkan bahwa bahkan VLM mutakhir pun mengalami bias kemurahan hati sistematis dan sering kali terlalu mahal untuk skala besar, sementara model terbuka yang terjangkau kinerjanya buruk.

media Hugging Face Forums · 71 hari lalu · 21 tayangan

John6666 merilis implementasi referensi independen pertama untuk REO v1.5

John "John6666" telah mengembangkan implementasi referensi independen pertama dari protokol Objek Evaluasi Referensi (REO v1.5), mewujudkan tujuan utama program penelitian EPE untuk memungkinkan benchmark yang dapat direproduksi oleh kontributor eksternal.

arxiv arXiv cs.CL · 89 hari lalu · 22 tayangan

AGC-Bench memperkenalkan benchmark terpadu dan AGC-Judge untuk mengukur kreativitas umum buatan

Para peneliti memperkenalkan AGC-Bench, sebuah benchmark terpadu untuk kreativitas umum buatan yang dibangun dari 3.101 makalah yang disaring dan mencakup 78 dataset di berbagai domain seperti brainstorming dan STEM. Untuk mengatasi bias dalam evaluasi otomatis, tim melakukan fine-tuning Qwen3-30B pada rating yang dikoreksi bias untuk membuat AGC-Judge, model bobot terbuka yang secara robust menilai benchmark kreativitas baru.

media r/LocalLLaMA · 91 hari lalu · 21 tayangan

Gemma-4-31B yang Ditala Halus untuk Skor Copywriting +290 Elo di EqBench3

Seorang pengguna telah merilis penalaan halus sempit dari model Gemma-4-31B-it yang secara khusus dioptimalkan untuk tugas copywriting dan penulisan kreatif. Model ini dilatih untuk menghilangkan klise pemasaran generik dan mengadopsi gaya respons langsung yang ditandai dengan spesifikasi konkret dan ajakan bertindak yang ketat.