media NextBigFuture · 358 hari lalu

xAI Grok 4 memimpin benchmark Arc-AGI2 dengan skor 15.9% versus GPT5

Diterjemahkan dari English → Bahasa Indonesia

Model Grok 4 dari xAI mencapai skor 15.9% pada benchmark Arc-AGI2, mengungguli GPT5 dari OpenAI yang meraih skor 9.9%.

Grok 4 memiliki keunggulan signifikan atas GPT5 pada benchmark Arc-AGI2.
xAI berencana merilis Grok 5 pada akhir 2025.
Pelatihan Grok 5 akan menggunakan daya komputasi setara dengan sekitar 3 juta Nvidia H100 atau 550.000 chip B200.

Kepentingan 2/3 NextBigFuture xAI OpenAI Benchmark results

Benchmark

Benchmark	Model	Skor
ARC-AGI 2	Grok 4	15.9%

Baca aslinya

DeepSeek V4 Flash GA menempati peringkat yang sama dengan Sonnet 5 dan Grok 4.5 di DeepSWE

DeepSeek mengklaim bahwa model umumnya yang baru tersedia, DeepSeek V4 Flash, mencapai kesetaraan kinerja dengan Anthropic's Sonnet 5 dan xAI's Grok 4.5 pada benchmark DeepSWE.

media Jeremy Berman (Substack) · 292 hari lalu

GPT-5 Pro memecahkan masalah Tier 4 FrontierMath baru, mendahului Gemini 2.5 Deep Think

GPT-5 Pro dari OpenAI menetapkan rekor baru pada benchmark FrontierMath Tier 4 dengan memecahkan satu masalah matematika tingkat penelitian tambahan dibandingkan dengan Gemini 2.5 Deep Think dari Google. Evaluasi ini melibatkan penilaian manual terhadap tiga pengaturan model yang intensif komputasi pada 50 masalah yang sangat sulit yang dikembangkan oleh matematikawan profesional.

lab OpenAI News · 2 hari lalu · 6 tayangan

Dua pengaturan API menggandakan skor GPT-5.6 pada ARC-AGI-3

Mengaktifkan dua pengaturan API spesifik untuk GPT-5.6 menghasilkan tripling dari skor performanya pada benchmark ARC-AGI-3.

media Together AI Blog · 5 hari lalu · 1 tayangan

Kimi K3 mengalahkan GPT-5.6 Sol di DeepSWE pass@4 dan biaya lebih murah 64%

Perbandingan antara Kimi K3 dan GPT-5.6 Sol pada benchmark DeepSWE menunjukkan bahwa meskipun GPT-5.6 Sol unggul dalam kualitas single-shot (72,7% vs 68,5%), Kimi K3 mencapai skor pass@k yang lebih tinggi untuk k > 1 dengan biaya yang jauh lebih rendah.

arxiv arXiv cs.CL · 11 hari lalu · 1 tayangan

Intern-BioBreaker mengungkap risiko biofisik pada LLM mutakhir

Para peneliti mengembangkan Intern-BioBreaker, sebuah model red-teaming biologi khusus, untuk menilai risiko biologis dari model bahasa besar mutakhir dengan menggabungkan pengujian stres komputasi dengan validasi laboratorium basah. Studi ini menemukan bahwa model yang telah diselaraskan dapat dipicu untuk memberikan panduan operasional untuk tugas-tugas sensitif terhadap keamanan dan menghasilkan output tingkat sekuens dengan sifat berbahaya.