xAIのGrok 4モデルは、Arc-AGI2ベンチマークで15.9%のスコアを達成し、9.9%のスコアだったOpenAIのGPT5を上回りました。
- Grok 4はArc-AGI2ベンチマークでGPT5に対して大きなリードを持っています。
- xAIは2025年末までにGrok 5をリリースする計画です。
- Grok 5のトレーニングには、Nvidia H100約300万個またはB200チップ55万個に相当するコンピューティングリソースが使用されます。
media
NextBigFuture
·
358日前
xAI Grok 4がArc-AGI2ベンチマークでGPT5を上回る15.9%のスコアで首位
翻訳元 English → 日本語
ベンチマーク
| ベンチマーク | モデル | スコア |
|---|---|---|
| ARC-AGI 2 | Grok 4 | 15.9% |
関連記事
media
r/LocalLLaMA
·
2時間前
DeepSeek V4 Flash GAはDeepSWEでSonnet 5およびGrok 4.5と同じランク
DeepSeekは、新しく一般公開されたモデル DeepSeek V4 Flash が、DeepSWE ベンチマークにおいて Anthropic's Sonnet 5 および xAI's Grok 4.5 と同等のパフォーマンスを達成したと主張しています。
media
Jeremy Berman (Substack)
·
292日前
GPT-5 ProがFrontierMath Tier 4の問題を解決し、Gemini 2.5 Deep Thinkに僅差で先行
OpenAIのGPT-5 Proは、FrontierMath Tier 4ベンチマークにおいて新しい記録を樹立し、GoogleのGemini 2.5 Deep Thinkと比較して1つ多い研究レベルの数学問題を解決した。この評価では、プロの数学者によって開発された50の極めて困難な問題に対して、3つの計算集約型モデル設定を手動で採点した。
lab
OpenAI News
·
2日前
·
6 回表示
2つのAPI設定によりGPT-5.6のARC-AGI-3スコアが3倍に
GPT-5.6に対して2つの特定のAPI設定を有効にしたところ、ARC-AGI-3ベンチマークでのパフォーマンススコアが3倍になりました。
media
Together AI Blog
·
5日前
·
1 回表示
Kimi K3がDeepSWEのpass@4でGPT-5.6 Solを上回り、コストは64%削減
DeepSWEベンチマークにおけるKimi K3とGPT-5.6 Solの比較により、GPT-5.6 Solが一発での品質（72.7%対68.5%）でリードしているものの、Kimi K3はk > 1に対してpass@kスコアをより高いコスト効率で達成することが明らかになった。
arxiv
arXiv cs.CL
·
11日前
·
1 回表示
Intern-BioBreakerが最先端LLMにおける物理的なバイオセキュリティリスクを明らかに
研究者らは、Intern-BioBreakerを開発した。これは特殊なバイオレッドチームイングモデルであり、計算負荷テストと湿式実験検証を組み合わせることで、最先端の大規模言語モデルの生物学的リスクを評価するものである。本研究では、アラインメント済みモデルが安全に敏感なタスクに対する運用ガイダンスを提供するように誘導され、有害な性質を持つシーケンスレベルの出力を生成できることが判明した。