arxiv arXiv cs.AI · à l'instant · source : il y a 3 j · research

GPT-5 et GPT-5 Nano égalent les experts dans l'évaluation de la recherche sur l'oncogenèse microbienne

Traduit de English → Français

Une étude démontre que GPT-5 et GPT-5 Nano atteignent un niveau de performance expert pour extraire des preuves et évaluer de manière critique des publications de recherche sur l'oncogenèse microbienne. Les chercheurs ont comparé ces modèles à Gemini 2.5 Pro et Gemini 2.5 Flash face à des experts du domaine, en utilisant un jeu de données de 24 articles centrés sur le MMTV-LV et le cancer du sein.

L'évaluation a utilisé un modèle structuré avec 77 éléments couvrant plusieurs types de questions, y compris des QCM, des échelles de Likert et des réponses en texte libre.
GPT-5 et GPT-5 Nano ont produit des distributions de scores indiscernables de celles des experts humains, tandis que les modèles Gemini étaient significativement plus indulgents dans l'application des critères.
Les hallucinations étaient rares pour tous les modèles, mais l'évaluation méthodologique et l'identification des contradictions au sein des textes complets sont restées des vulnérabilités persistantes.

Les résultats soutiennent l'utilisation des LLM pour la synthèse automatisée de preuves systématiques, bien que des renforcements supplémentaires soient nécessaires pour les tâches méthodologiques complexes.

Importance 2/3 arXiv cs.AI Google DeepMind OpenAI Evaluation & benchmarks Research paper

Lire l'original

Articles similaires

arxiv arXiv cs.CL · il y a 2 h

GPT-5 et GPT-5 Nano égalent les experts dans l'extraction de preuves sur l'oncogenèse microbienne

Une étude évaluant les grands modèles de langage (LLM) pour la synthèse systématique de preuves sur l'oncogenèse microbienne a révélé que GPT-5 et GPT-5 Nano performent de manière indistinguable des experts du domaine. Les chercheurs ont évalué Gemini 2.5 Pro, Gemini 2.5 Flash, GPT-5 et GPT-5 Nano sur 24 articles de recherche en utilisant un modèle structuré de 77 éléments couvrant plusieurs types de questions.

arxiv arXiv cs.CL · il y a 38 j

Évaluation automatisée des examens Linux/bash à l'aide de grands modèles de langage

Cette étude évalue si quatre grands modèles de langage (GPT, Claude Opus, Gemini et GLM) peuvent approximer le jugement d'experts lors de la notation de réponses courtes aux commandes Linux/bash. La recherche démontre que les invites structurées améliorent considérablement l'accord avec les correcteurs humains, établissant un cadre pour l'évaluation assistée par IA dans l'éducation informatique.

arxiv arXiv cs.LG · il y a 34 j · 1 vue

L'expression du persona par les LLM comprend des agrégats robustes au cadre et une géométrie dépendante du cadre

Une étude analysant GPT-4o simulant des personnas américaines et sino-américaines révèle que l'expression du persona par les LLM se compose de deux composantes dissociables : les caractéristiques agrégées et les caractéristiques géométriques. Les chercheurs ont construit des matrices de corrélation intra-instance à partir des réponses IPIP-50 pour analyser la géométrie sur les variétés SPD sous des ordres de questions manipulés.

arxiv arXiv cs.AI · il y a 34 j

L'expression du persona par les LLM comprend des agrégats robustes aux cadres et une géométrie dépendante du cadre

Une étude analysant GPT-4o simulant des personnas américaines et sino-américaines révèle que l'expression du persona par les LLM se compose de deux composants dissociables : des caractéristiques agrégées et des caractéristiques géométriques. Les chercheurs ont construit des matrices de corrélation intra-instance à partir des réponses IPIP-50 pour analyser la géométrie sur les variétés SPD sous des ordres de questions manipulés.

arxiv arXiv cs.CL · il y a 35 j

GPT-5 surpasse les humains dans l'induction d'états de croyance par la planification

Une nouvelle étude évalue la capacité des grands modèles de langage (LLM) à induire des états de croyance spécifiques chez d'autres agents par des actions plutôt que par la conversation, une capacité qualifiée de ToM par Planification Non-Conversationnelle (NCP-ToM).