xAI의 Grok 4 모델은 Arc-AGI2 벤치마크에서 15.9%의 점수를 달성하여 9.9%를 기록한 OpenAI의 GPT5를 능가했습니다.
- Grok 4는 Arc-AGI2 벤치마크에서 GPT5에 비해 상당한 격차를 보이고 있습니다.
- xAI는 2025년 말까지 Grok 5를 출시할 계획입니다.
- Grok 5의 학습에는 약 300만 개의 Nvidia H100 또는 550,000개의 B200 칩에 해당하는 컴퓨팅 성능이 사용됩니다.
media
NextBigFuture
·
358일 전
xAI Grok 4, Arc-AGI2 벤치마크에서 GPT5 대비 15.9% 점수로 선두
번역 English → 한국어
벤치마크
| 벤치마크 | 모델 | 점수 |
|---|---|---|
| ARC-AGI 2 | Grok 4 | 15.9% |
관련 기사
media
r/LocalLLaMA
·
2시간 전
DeepSeek V4 Flash GA는 DeepSWE에서 Sonnet 5 및 Grok 4.5와 동일한 순위
DeepSeek은 새로 일반적으로 사용 가능한 모델인 DeepSeek V4 Flash가 DeepSWE 벤치마크에서 Anthropic's Sonnet 5 및 xAI's Grok 4.5와 성능 동등성을 달성했다고 주장합니다.
media
Jeremy Berman (Substack)
·
292일 전
GPT-5 Pro가 FrontierMath Tier 4 문제 해결, Gemini 2.5 Deep Think에 근소한 우위
OpenAI의 GPT-5 Pro는 FrontierMath Tier 4 벤치마크에서 새로운 기록을 수립하며 Google의 Gemini 2.5 Deep Think보다 연구 수준의 수학 문제를 하나 더 해결했습니다. 이 평가에서는 전문 수학자들이 개발한 50개의 매우 어려운 문제에 대해 세 가지 계산 집약형 모델 설정을 수동으로 채점했습니다.
lab
OpenAI News
·
2일 전
·
조회수 6회
두 가지 API 설정으로 ARC-AGI-3에서 GPT-5.6 점수가 3배 증가
GPT-5.6에 대한 두 가지 특정 API 설정을 활성화한 결과, ARC-AGI-3 벤치마크에서 성능 점수가 3배로 증가했습니다.
media
Together AI Blog
·
5일 전
·
조회수 1회
Kimi K3가 DeepSWE pass@4에서 GPT-5.6 Sol을 제치고 비용을 64% 절감
DeepSWE 벤치마크에서의 Kimi K3와 GPT-5.6 Sol 비교 결과, GPT-5.6 Sol이 단일 추론 품질(72.7% 대 68.5%)에서 앞섰지만, Kimi K3는 훨씬 낮은 비용으로 k > 1에 대해 더 높은 pass@k 점수를 달성했습니다.
arxiv
arXiv cs.CL
·
11일 전
·
조회수 1회
Intern-BioBreaker는 최첨단 LLM의 물리적 생명보안 위험을 드러낸다
연구원들은 Intern-BioBreaker라는 특수한 생물 레드팀링 모델을 개발하여, 계산적 스트레스 테스트와 실험실 검증을 결합함으로써 최첨단 대규모 언어 모델의 생물학적 위험을 평가했다. 연구 결과, 정렬된 모델이 안전 민감한 작업에 대한 운영 지침을 제공하도록 유도되고 해로운 특성을 가진 시퀀스 수준의 출력을 생성할 수 있음이 밝혀졌다.