media Hugging Face Forums · 4 hari lalu · open_models

Skepsis komunitas terhadap klaim efisiensi dan kebaruan teknis Jev

Diterjemahkan dari English → Bahasa Indonesia

Artikel ini membahas lonjakan minat pada "Jev" di LinkedIn, di mana ia dipromosikan sebagai terobosan AI yang revolusioner meskipun penulis menemukan sedikit bukti substantif untuk mendukung klaim tersebut. Penulis mencatat bahwa meskipun Jev mempromosikan efisiensi besar dan paradigma baru, hal itu kekurangan data evaluasi dan detail teknis, menimbulkan pertanyaan apakah hal itu mewakili inovasi arsitektur yang sebenarnya atau hanya klasifikasi yang dikemas ulang.

Umpan LinkedIn dipenuhi dengan hype mengenai Jev sebagai terobosan AI/ML utama.
Konsep ini digambarkan sebagai praktis tetapi kurang kedalaman teknis dari pergeseran paradigma yang sesungguhnya.
Komentar terkait dari Florian Hönicke mengkritik Jev karena tidak menetapkan probabilitas dengan benar, meskipun ia mengakui nilai dari memperkenalkan gagasan tersebut.

Artikel ini menyoroti ketegangan antara antusiasme yang didorong oleh pemasaran dan kebutuhan akan evaluasi teknis yang ketat dalam pengembangan AI.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Evaluation & benchmarks

Baca aslinya

Open TTS Leaderboard meluncurkan evaluasi TTS multibahasa yang skalabel

Open TTS Leaderboard telah dirilis untuk mengatasi fragmentasi dan kurangnya standarisasi dalam evaluasi Text-to-Speech (TTS) dengan menggunakan metrik objektif alih-alih hanya mengandalkan skor preferensi manusia berbasis arena yang lambat. Model dievaluasi berdasarkan kejelasan, kecepatan, dan kesamaan pembicara menggunakan Qwen3 ASR dan embedding WavLM.

media Hugging Face Forums · 11 jam lalu · 1 tayangan

Peneliti independen mengevaluasi Kavach terhadap 42 serangan injeksi prompt nyata IssueTrojanBench

Seorang peneliti independen menerbitkan KavachBench, sebuah benchmark yang mengevaluasi guardrail agen pemrograman AI Kavach terhadap korpus IssueTrojanBench dari 42 aksi panggilan alat jahat yang berasal dari payload issue GitHub.

arxiv arXiv cs.CL · 2 hari lalu · 1 tayangan

Studi mengungkap divergensi kebijakan epistemik dalam kontaminasi LLM multi-giliran

Sebuah studi berjudul "Divergensi Kebijakan Epistemik dalam Kontaminasi LLM Multi-Giliran: Investigasi Gradien Protokol" mengevaluasi bagaimana model bahasa besar menangani premis palsu yang disuntikkan ke dalam riwayat percakapan, sebuah mode kegagalan yang disebut kontaminasi tingkat sesi. Para peneliti menguji GPT-5.4 Mini, Gemini-3.1 Flash-Lite, dan GLM-4.5-Air di sepuluh domain pengetahuan menggunakan 22.500 giliran pada suhu nol.

arxiv arXiv cs.CL · 2 hari lalu · 1 tayangan

Rep2Act menyelaraskan representasi VLM untuk meningkatkan abstensi pada benchmark VAD-R baru

Para peneliti memperkenalkan Visual Answerability Diagnosis with Rationales (VAD-R), sebuah benchmark baru yang dirancang untuk mengevaluasi kemampuan model visi-bahasa dalam abstensi dari pertanyaan yang tidak dapat dijawab tanpa petunjuk pintasan. Studi ini mengungkapkan bahwa meskipun keadaan tersembunyi dapat membedakan keterjawaban, model saat ini gagal menerjemahkan hal ini menjadi keputusan eksplisit.

media Hugging Face Forums · 2 hari lalu · 1 tayangan

Ujjal Bhattacharjee mengusulkan desain studi untuk menguji debat agen terstruktur untuk tinjauan bukti

Ujjal Bhattacharjee telah mengusangkan kerangka metodologis untuk mengevaluasi apakah tantangan dan revisi terstruktur meningkatkan tugas tinjauan bukti di bawah kendala pengeluaran dan tenggat waktu yang tetap. Proposal tersebut outlines eksperimen empat kondisi yang membandingkan reviewer tunggal, agregasi independen, deliberasi terstruktur, dan deliberasi dengan evaluator Jev.