media Latent Space · 1 jam lalu · agents

Pembaruan Gemini 3.7 Flash membawa GDM kembali ke garis depan

Diterjemahkan dari English → Bahasa Indonesia

Artikel ini menyoroti grafik dari pembaruan Gemini 3.7 Flash yang menunjukkan bahwa versi sebelumnya, khususnya 3.5 dan 3.6 Flash, tertinggal dibandingkan model seri Claude 4.8+ dan GPT 5.5+ yang lebih baru.

Pembaruan ini bertujuan untuk mengatasi kesenjangan kinerja terhadap pesaing seperti Claude 4.8+ dan GPT 5.5+.
Sebuah grafik dikutip sebagai aspek paling meyakinkan dari pengumuman tersebut, yang mengilustrasikan keterlambatan kinerja sebelumnya.

Kepentingan 2/3 Latent Space Google DeepMind Benchmark results

Baca aslinya

RAG klinis VITA menyamai atau mengungguli LLM terdepan pada HealthBench

Sebuah sistem retrieval-augmented generation yang dirancang khusus bernama VITA, yang ditujukan untuk negara berpenghasilan rendah dan menengah, dievaluasi terhadap model bahasa besar umum pada benchmark HealthBench. Studi ini menunjukkan bahwa desain yang spesifik terhadap korpus dapat mempertahankan kinerja kompetitif meskipun model terdepan baru terus dirilis.

arxiv arXiv cs.CL · 1 hari lalu · 1 tayangan

VITA RAG khusus korpus cocok atau mengungguli LLM mutakhir di HealthBench

VITA, sistem generasi yang diperkaya dengan pengambilan informasi yang dirancang untuk konteks berpenghasilan rendah dan menengah, menempati peringkat pertama pada subset berbahasa Inggris dari HealthBench, mengungguli GPT-5.4, o4-mini, Gemini 3.1 Pro, dan Claude Sonnet 4.6.

arxiv arXiv cs.AI · 39 hari lalu

TestEvo-Bench: Benchmark live yang dapat dieksekusi untuk ko-evolusi tes dan kode

Para peneliti memperkenalkan TestEvo-Bench, sebuah benchmark live yang dirancang untuk mengevaluasi seberapa baik agen menangani ko-evolusi tes perangkat lunak dan kode. Berbeda dengan benchmark yang ada yang mengandalkan metadata statis, kerangka kerja ini menggunakan riwayat commit nyata dan konfigurasi lingkungan untuk memverifikasi metrik yang dapat dieksekusi seperti tingkat keberhasilan dan cakupan.

media r/LocalLLaMA · 39 hari lalu

Meta menguji ChatGPT, Gemini, dan Character.AI dengan prompt krisis perspektif minor

Meta dilaporkan memiliki ratusan kontraktor berpura-pura sebagai anak di bawah umur dan mengirim prompt terkait bunuh diri, seks, dan narkoba ke chatbot dari OpenAI, Google, dan Character.AI. Dalam satu putaran pengujian, lebih dari 45.000 prompt dikirim.

arxiv arXiv cs.CL · 39 hari lalu · 1 tayangan

Fine-tuning QLoRA pada Gemma 4 31B menutupi kesenjangan ekstraksi relasi lintas-bahasa untuk bahasa Rumania

Studi ini menyelidiki ekstraksi relasi lintas-bahasa untuk bahasa Rumania dengan menerjemahkan benchmark SemEval-2010 Task 8 dan mengevaluasi Gemma 4 31B terhadap baseline encoder. Hasil menunjukkan bahwa fine-tuning QLoRA meningkatkan Skor F1 makro sebesar lebih dari 22 poin persentase, mengurangi kesenjangan lintas-bahasa dari 3,3 menjadi 1,4 pp.