media AI News (TechForge) · il y a 737 j

Le Gemini 1.5 Pro 0801 expérimental de Google dépasse GPT-4o sur LMSYS Chatbot Arena

Traduit de English → Français

Le modèle expérimental Gemini 1.5 Pro de Google a dépassé le GPT-4o d'OpenAI dans les benchmarks d'IA générative, spécifiquement sur le classement du LMSYS Chatbot Arena.

La version expérimentale, désignée Gemini 1.5 Pro 0801, a obtenu un score de 1 300.
Ce résultat dépasse le score de 1 286 de GPT-4o et celui de 1 271 de Claude-3.
Une itération précédente du Gemini 1.5 Pro avait obtenu 1 261 points.

Ce développement marque une étape importante dans la course continue à la suprématie de l'IA parmi les géants de la technologie.

Importance 3/3 Dépasse un benchmark d'un laboratoire de premier plan AI News (TechForge) Google DeepMind OpenAI Benchmark results

Benchmarks

Benchmark	Modèle	Score
LMSYS Arena (Elo)	Gemini 1.5 Pro 0801	1300Elo

Lire l'original

Meta a testé ChatGPT, Gemini et Character.AI avec des prompts de crise en perspective mineure

Selon les rapports, Meta aurait engagé des centaines de contractuels pour se faire passer pour des mineurs et envoyer des prompts liés au suicide, à la sexualité et aux drogues aux chatbots d'OpenAI, Google et Character.AI. Lors d'un seul tour de test, plus de 45 000 prompts ont été envoyés.

arxiv arXiv cs.CL · il y a 35 j

L'évaluation en zero-shot montre que Gemini domine les LLM sur une taxonomie d'émotions à 13 classes

Une étude a évalué trois grands modèles de langage commerciaux — Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) et Gemini (gemini-2.5-flash) — sur une tâche de classification fine des émotions en zero-shot, à l'aide d'un échantillon stratifié de 1 000 phrases du jeu de données boltuix/emotions.

media IntuitionLabs · il y a 115 j · 39 vues

GPT-5.2 atteint ~53 % sur le benchmark ARC-AGI-2 en décembre 2025

GPT-5.2 d'OpenAI, publié en décembre 2025, a marqué une étape importante dans le raisonnement abstrait de l'IA en atteignant un taux de réussite d'environ 53–54 % sur le benchmark ARC-AGI-2. Cette performance a largement dépassé l'état de l'art précédent, où aucun système à modèle fermé n'avait auparavant atteint même 5 % de réussite sur ces tâches.

media Jeremy Berman (Substack) · il y a 300 j · 8 vues

GPT-5 Pro résout un problème du niveau 4 de FrontierMath, devançant légèrement Gemini 2.5 Deep Think

Le GPT-5 Pro d'OpenAI a établi un nouveau record sur le benchmark FrontierMath Tier 4 en résolvant un problème mathématique de niveau recherche supplémentaire par rapport au Gemini 2.5 Deep Think de Google. L'évaluation impliquait la notation manuelle de trois configurations de modèles intensives en calcul sur 50 problèmes extrêmement difficiles développés par des mathématiciens professionnels.

lab ARC Prize · il y a 430 j · 1 vue

Les tests des principaux systèmes de raisonnement IA ne révèlent aucun vainqueur clair sur les benchmarks ARC

Un examen des systèmes de raisonnement IA de pointe provenant de laboratoires tels qu'OpenAI, DeepMind, xAI, DeepSeek et Anthropic révèle que si l'échelle du calcul au moment du test améliore la précision, elle réduit considérablement l'efficacité. L'analyse identifie une frontière de Pareto pour les scores ARC-AGI-1 mais note un échec complet sur le benchmark plus difficile ARC-AGI-2, suggérant des limitations communes à tous les modèles majeurs.