Google的实验性Gemini 1.5 Pro模型在生成式AI基准测试中超越了OpenAI的GPT-4o，特别是在LMSYS Chatbot Arena排行榜上。
- 被指定为Gemini 1.5 Pro 0801的实验版本取得了1,300分的成绩。
- 这一结果超过了GPT-4o的1,286分和Claude-3的1,271分。
- Gemini 1.5 Pro的前一个迭代版本得分为1,261。
这一进展标志着科技巨头之间AI霸权竞赛中的一个重要里程碑。
media
AI News (TechForge)
·
737 天前
Google的实验性Gemini 1.5 Pro 0801在LMSYS Chatbot Arena上超越GPT-4o
译自 English → 中文
Benchmarks
| Benchmark | 模型 | 得分 |
|---|---|---|
| LMSYS Arena (Elo) | Gemini 1.5 Pro 0801 | 1300Elo |
相关文章
media
r/LocalLLaMA
·
34 天前
Meta 使用未成年人视角的危机提示测试了 ChatGPT、Gemini 和 Character.AI
据报道，Meta 雇佣了数百名承包商伪装成未成年人，向 OpenAI、Google 和 Character.AI 的聊天机器人发送与自杀、性和毒品相关的提示。在单次测试轮次中，发送了超过 45,000 条提示。
arxiv
arXiv cs.CL
·
35 天前
零样本评估显示 Gemini 在 13 类情感分类法中领先于其他 LLM
一项研究使用来自 boltuix/emotions 数据集的 1,000 句分层抽样，对三个商业大型语言模型——Claude (claude-sonnet-4-6)、ChatGPT (GPT-5.4) 和 Gemini (gemini-2.5-flash) ——在零样本细粒度情感分类任务上进行了评估。
media
IntuitionLabs
·
115 天前
·
39 次浏览
GPT-5.2在2025年12月ARC-AGI-2基准测试中达到~53%
OpenAI于2025年12月发布的GPT-5.2在AI抽象推理方面取得了重大里程碑，在ARC-AGI-2基准测试中达到了约53–54%的成功率。这一表现远远超越了之前的最先进水平，此前没有任何封闭模型系统在这些任务上达到过5%的成功率。
media
Jeremy Berman (Substack)
·
300 天前
·
8 次浏览
GPT-5 Pro 解决 FrontierMath Tier 4 新问题，领先 Gemini 2.5 Deep Think
OpenAI 的 GPT-5 Pro 在 FrontierMath Tier 4 基准测试中创下新纪录，比 Google 的 Gemini 2.5 Deep Think 多解决了一道研究级数学问题。该评估涉及对由专业数学家开发的 50 道极难问题上的三个计算密集型模型设置进行人工评分。
lab
ARC Prize
·
430 天前
·
1 次浏览
测试主要AI推理系统在ARC基准上未发现明确赢家
对来自OpenAI、DeepMind、xAI、DeepSeek和Anthropic等实验室的前沿AI推理系统的审查显示，虽然测试时计算扩展提高了准确性，但显著降低了效率。分析确定了ARC-AGI-1分数的帕累托前沿，但指出在更具挑战性的ARC-AGI-2基准上完全失败，表明所有主要模型存在共同局限性。