media AIBase · 608 hari lalu

Gemini-Exp-1206 dari Google melampaui ChatGPT di papan peringkat LMArena

Diterjemahkan dari English → Bahasa Indonesia

Google telah meluncurkan model bahasa eksperimental bernama Gemini-Exp-1206, yang telah mencapai Arena Score tertinggi di papan peringkat LMArena (Chatbot Arena). Model tersebut mencapai 1379 poin, sedikit melebihi skor ChatGPT-4.0 sebesar 1366 poin.

Gemini-Exp-1206 mencetak 1379 di LMArena, dibandingkan dengan 1366 dari ChatGPT-4.0.
ChatGPT-4.0 menerima jauh lebih banyak suara (21.929) daripada Gemini-Exp-1206 (5.052), menunjukkan keandalan yang lebih besar.
Model ini menunjukkan kinerja yang lebih kuat dibandingkan versi sebelumnya Gemini-Exp-1114.
Google menggambarkan model-model eksperimental ini sebagai prototipe sementara untuk pengujian dan umpan balik, tidak cocok untuk produksi.

Model ini tersedia secara gratis melalui Google AI Studio, menawarkan kepada pengembang kesempatan untuk mengalami kemajuan AI terbaru dari Google lebih awal.

Kepentingan 3/3 Mengungguli benchmark lab papan atas AIBase Google DeepMind Benchmark results

Benchmark

Benchmark	Model	Skor
LMSYS Arena (Elo)	Gemini-Exp-1206	1379Elo

Baca aslinya

TestEvo-Bench: Benchmark live yang dapat dieksekusi untuk ko-evolusi tes dan kode

Para peneliti memperkenalkan TestEvo-Bench, sebuah benchmark live yang dirancang untuk mengevaluasi seberapa baik agen menangani ko-evolusi tes perangkat lunak dan kode. Berbeda dengan benchmark yang ada yang mengandalkan metadata statis, kerangka kerja ini menggunakan riwayat commit nyata dan konfigurasi lingkungan untuk memverifikasi metrik yang dapat dieksekusi seperti tingkat keberhasilan dan cakupan.

media r/LocalLLaMA · 34 hari lalu

Meta menguji ChatGPT, Gemini, dan Character.AI dengan prompt krisis perspektif minor

Meta dilaporkan memiliki ratusan kontraktor berpura-pura sebagai anak di bawah umur dan mengirim prompt terkait bunuh diri, seks, dan narkoba ke chatbot dari OpenAI, Google, dan Character.AI. Dalam satu putaran pengujian, lebih dari 45.000 prompt dikirim.

arxiv arXiv cs.CL · 35 hari lalu · 1 tayangan

Fine-tuning QLoRA pada Gemma 4 31B menutupi kesenjangan ekstraksi relasi lintas-bahasa untuk bahasa Rumania

Studi ini menyelidiki ekstraksi relasi lintas-bahasa untuk bahasa Rumania dengan menerjemahkan benchmark SemEval-2010 Task 8 dan mengevaluasi Gemma 4 31B terhadap baseline encoder. Hasil menunjukkan bahwa fine-tuning QLoRA meningkatkan Skor F1 makro sebesar lebih dari 22 poin persentase, mengurangi kesenjangan lintas-bahasa dari 3,3 menjadi 1,4 pp.

arxiv arXiv cs.CL · 35 hari lalu

Evaluasi zero-shot menunjukkan Gemini memimpin LLM pada taksonomi emosi 13 kelas

Sebuah studi mengevaluasi tiga model bahasa besar komersial—Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4), dan Gemini (gemini-2.5-flash)—pada tugas klasifikasi emosi halus zero-shot menggunakan sampel 1.000 kalimat terstratifikasi dari dataset boltuix/emotions.

arxiv arXiv cs.CL · 35 hari lalu · 2 tayangan

Evaluator LLM kurang berhati-hati secara klinis meskipun ada keselarasan statistik dalam benchmark MedQADE

Studi ini memperkenalkan MedQADE, sebuah benchmark klinis respons terbuka yang terstandarisasi untuk bahasa Jerman yang terdiri dari 3.800 item yang dianotasi oleh sepuluh dokter dan sembilan evaluator LLM. Studi ini menyelidiki apakah pendekatan otomatis LLM-as-a-Judge mereplikasi kalibrasi dan kehati-hatian klinisi manusia.