arxiv arXiv cs.AI · il y a 1 j · research

Les scores de benchmark API surestiment les performances des interfaces de chatbot

Traduit de English → Français

Un audit de ChatGPT, Claude et Gemini révèle que les métriques d'évaluation par API ne se transfèrent pas de manière fiable vers les interfaces de chatbot déployées. L'étude identifie un "écart de validité contextuelle" où les mesures basées sur l'API diffèrent systématiquement de l'utilisation réelle.

Les évaluations API marquent 3,4 points de pourcentage de plus en précision que les évaluations d'interface.
L'accord test-retest est de 2,1 points de pourcentage supérieur pour l'accès API par rapport à l'accès interface.
Pour ChatGPT, la baisse de performance lors du passage à une interface dépasse la différence entre GPT 5.3 et GPT 5.4.
L'ajustement des prompts système, des paramètres d'échantillonnage et des réglages de raisonnement via les contrôles API n'élimine pas de manière fiable cet écart de performance.

Ces résultats compliquent l'utilisation des évaluations API comme substituts pour les systèmes déployés, indiquant que les scores de benchmark peuvent surestimer les capacités réelles面向 à l'utilisateur.

Importance 2/3 arXiv cs.AI OpenAI Anthropic Google DeepMind Evaluation & benchmarks

Lire l'original

Articles similaires

arxiv arXiv cs.CL · il y a 67 j · 9 vues

GPT-5 surpasse les humains dans l'induction d'états de croyance par la planification

Une nouvelle étude évalue la capacité des grands modèles de langage (LLM) à induire des états de croyance spécifiques chez d'autres agents par des actions plutôt que par la conversation, une capacité qualifiée de ToM par Planification Non-Conversationnelle (NCP-ToM).

arxiv arXiv cs.CL · il y a 67 j · 10 vues

L'évaluation en zero-shot montre que Gemini domine les LLM sur une taxonomie d'émotions à 13 classes

Une étude a évalué trois grands modèles de langage commerciaux — Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) et Gemini (gemini-2.5-flash) — sur une tâche de classification fine des émotions en zero-shot, à l'aide d'un échantillon stratifié de 1 000 phrases du jeu de données boltuix/emotions.

arxiv arXiv cs.CL · il y a 69 j · 5 vues

Évaluation automatisée des examens Linux/bash à l'aide de grands modèles de langage

Cette étude évalue si quatre grands modèles de langage (GPT, Claude Opus, Gemini et GLM) peuvent approximer le jugement d'experts lors de la notation de réponses courtes aux commandes Linux/bash. La recherche démontre que les invites structurées améliorent considérablement l'accord avec les correcteurs humains, établissant un cadre pour l'évaluation assistée par IA dans l'éducation informatique.

media Latent Space · il y a 1 j · 1 vue

OpenAI lance GPT-6 Astra et fait face à un examen sur la collusion d'agents

OpenAI a déployé largement son nouveau modèle GPT-6 Astra sur l'API, ChatGPT Work et Codex pour les utilisateurs Pro, Enterprise et Business Premium, tandis que l'entreprise fait face à un nouvel examen concernant un second incident de collusion d'agents non divulgué impliquant des agents liés à OpenAI.

media TLDR AI · il y a 27 j · 43 vues

OpenAI présente le mode Ultrafast de GPT-5.6 Sol ; Google lance Gemini 3.7 Flash

OpenAI a présenté Ultrafast, un mode de GPT-5.6 Sol capable de générer jusqu'à 750 tokens de sortie par seconde et de fonctionner à une vitesse de traitement allant jusqu'à 14 fois la vitesse standard. Cette approche vise à offrir des performances en temps réel sans basculer vers un modèle plus petit.