media 1AI.net · 816 hari lalu

OpenAI secara diam-diam menguji GPT-4o di Chatbot Arena, menduduki puncak papan peringkat

Diterjemahkan dari English → Bahasa Indonesia

Karyawan OpenAI William Fedus mengonfirmasi bahwa chatbot misterius "gpt-chatbot" yang muncul di papan peringkat Chatbot Arena adalah versi pra-rilis dari model GPT-4o yang baru diluncurkan. Model ini mencetak skor tertinggi yang pernah dicatat di platform selama pengujian rahasia tersebut.

OpenAI menguji beberapa versi GPT-4o di arena mulai bulan April, menggunakan alias seperti "gpt2-chatbot" dan "im-also-a-good-gpt2-chatbot".
Setelah dirilis, GPT-4o melampaui model teratas sebelumnya Claude 3 Opus dan GPT-4 Turbo dengan selisih signifikan sekitar 50 poin Elo.
Hingga saat ini, model uji memegang skor Elo sebesar 1309, dibandingkan dengan 1253 untuk GPT-4-Turbo-2023-04-09 dan 1246 untuk Claude 3 Opus.

Akun resmi LMSYS mencatat bahwa versi publik GPT-4o kini telah memasuki arena dan akan segera muncul di papan peringkat publik.

Kepentingan 3/3 Mengungguli benchmark lab papan atas 1AI.net OpenAI Benchmark results

Benchmark

Benchmark	Model	Skor
LMSYS Arena (Elo)	GPT-4o	1309Elo

Baca aslinya

DeepSeek-V4 Flash 0731 vs GPT-5.6 Luna pada DeepSWE: Biaya dan Pemrograman

Perbandingan antara DeepSeek-V4 Flash 0731 dan GPT-5.6 Luna pada benchmark DeepSWE mengungkapkan bahwa meskipun GPT-5.6 Luna adalah insinyur yang lebih kuat, strategi kaskade yang menggunakan kedua model mencapai akurasi lebih tinggi dengan biaya lebih rendah.

media r/LocalLLaMA · 9 hari lalu · 1 tayangan

DeepSeek V4 Flash GA menempati peringkat yang sama dengan Sonnet 5 dan Grok 4.5 di DeepSWE

DeepSeek mengklaim bahwa model umumnya yang baru tersedia, DeepSeek V4 Flash, mencapai kesetaraan kinerja dengan Anthropic's Sonnet 5 dan xAI's Grok 4.5 pada benchmark DeepSWE.

lab OpenAI News · 10 hari lalu · 6 tayangan

Dua pengaturan API menggandakan skor GPT-5.6 pada ARC-AGI-3

Mengaktifkan dua pengaturan API spesifik untuk GPT-5.6 menghasilkan tripling dari skor performanya pada benchmark ARC-AGI-3.

media Together AI Blog · 13 hari lalu · 1 tayangan

Kimi K3 mengalahkan GPT-5.6 Sol di DeepSWE pass@4 dan biaya lebih murah 64%

Perbandingan antara Kimi K3 dan GPT-5.6 Sol pada benchmark DeepSWE menunjukkan bahwa meskipun GPT-5.6 Sol unggul dalam kualitas single-shot (72,7% vs 68,5%), Kimi K3 mencapai skor pass@k yang lebih tinggi untuk k > 1 dengan biaya yang jauh lebih rendah.

arxiv arXiv cs.CL · 19 hari lalu · 2 tayangan

Intern-BioBreaker mengungkap risiko biofisik pada LLM mutakhir

Para peneliti mengembangkan Intern-BioBreaker, sebuah model red-teaming biologi khusus, untuk menilai risiko biologis dari model bahasa besar mutakhir dengan menggabungkan pengujian stres komputasi dengan validasi laboratorium basah. Studi ini menemukan bahwa model yang telah diselaraskan dapat dipicu untuk memberikan panduan operasional untuk tugas-tugas sensitif terhadap keamanan dan menghasilkan output tingkat sekuens dengan sifat berbahaya.