media Hugging Face Forums · 1 jam lalu · sumber: 3 hari lalu · open_models

John6666 merilis implementasi referensi independen pertama untuk REO v1.5

Diterjemahkan dari English → Bahasa Indonesia

John "John6666" telah mengembangkan implementasi referensi independen pertama dari protokol Objek Evaluasi Referensi (REO v1.5), mewujudkan tujuan utama program penelitian EPE untuk memungkinkan benchmark yang dapat direproduksi oleh kontributor eksternal.

Repositori ini mencakup benchmark REO-20 lengkap, skrip validasi, penilai resmi, uji reproduktibilitas, dan skema evaluasi. Repositori ini disusun sebagai paket evaluasi yang dapat direproduksi, bukan sebagai dataset pelatihan, sehingga peneliti dapat menjalankan benchmark dalam kondisi terstandarisasi menggunakan model dengan bobot terbuka. Notebook Google Colab yang siap dijalankan juga tersedia untuk mengotomatisasi pengunduhan benchmark, memvalidasi file, menjalankan 20 item benchmark dengan checkpoint Qwen3.5-4B tetap, dan menghasilkan paket reproduktibilitas lengkap.

Implementasi ini menanggapi kritik bahwa protokol EPE sulit direproduksi oleh peneliti eksternal, sehingga menurunkan hambatan bagi evaluasi independen. Peneliti kini dapat menjalankan benchmark sendiri, membandingkan berbagai model, memeriksa penilai, memverifikasi protokol, serta mengusulkan perbaikan atau implementasi alternatif.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Evaluation & benchmarks Open weights

Artikel terkait

arxiv arXiv cs.CL · 18 hari lalu

AGC-Bench memperkenalkan benchmark terpadu dan AGC-Judge untuk mengukur kreativitas umum buatan

Para peneliti memperkenalkan AGC-Bench, sebuah benchmark terpadu untuk kreativitas umum buatan yang dibangun dari 3.101 makalah yang disaring dan mencakup 78 dataset di berbagai domain seperti brainstorming dan STEM. Untuk mengatasi bias dalam evaluasi otomatis, tim melakukan fine-tuning Qwen3-30B pada rating yang dikoreksi bias untuk membuat AGC-Judge, model bobot terbuka yang secara robust menilai benchmark kreativitas baru.

media r/LocalLLaMA · 20 hari lalu · 2 tayangan

Gemma-4-31B yang Ditala Halus untuk Skor Copywriting +290 Elo di EqBench3

Seorang pengguna telah merilis penalaan halus sempit dari model Gemma-4-31B-it yang secara khusus dioptimalkan untuk tugas copywriting dan penulisan kreatif. Model ini dilatih untuk menghilangkan klise pemasaran generik dan mengadopsi gaya respons langsung yang ditandai dengan spesifikasi konkret dan ajakan bertindak yang ketat.

media r/LocalLLaMA · 23 hari lalu

Model HuiHui yang di-ablasi mengungguli vanilla 3.6-35B-a3b dalam matematika dan kode

Sebuah resep kuantisasi khusus yang diterapkan pada model HuiHui yang di-ablasi menunjukkan kinerja yang lebih unggul dibandingkan varian vanilla 3.6-35B-a3b dalam tugas matematika dan pemrograman. Hasilnya menunjukkan bahwa penghapusan mekanisme penolakan memungkinkan model mencapai akurasi dan kebijaksanaan yang lebih besar dalam domain-domain ini.

media Hugging Face Forums · 30 hari lalu

BenchHub Mengirimkan Pembaruan Besar ke Ruang Papan Peringkat Terbuka

BenchHub telah merilis pembaruan besar untuk platform papan peringkat terbukanya, kini mencakup tugas visi, audio, dan NLP dengan metrik yang konsisten dan penilaian yang dapat direproduksi. Platform ini menampilkan 95 papan, lebih dari 700 submission model, dan memungkinkan partisipasi gratis melalui masuk menggunakan GitHub, Google, atau Hugging Face, dengan eksplorasi penuh dan perbandingan sampel tersedia di runbenchhub.com.

media r/LocalLLaMA · 4 jam lalu

Microsoft merilis Mage-Flow, model resolusi asli 4B untuk generasi dan pengeditan gambar

Microsoft telah merilis Mage-Flow, tumpukan generatif skala 4B yang ringkas, dirancang untuk generasi teks-ke-gambar yang efisien dan pengeditan gambar berbasis instruksi. Sistem ini mencapai kualitas yang bersaing dengan state-of-the-art melalui desain bersama antara tokenizer ringan, Mage-VAE, dan Native-Resolution Multimodal Diffusion Transformer (NR-MMDiT).