media AIBase · il y a 608 j

Gemini-Exp-1206 de Google dépasse ChatGPT sur le classement LMArena

Traduit de English → Français

Google a lancé un modèle linguistique expérimental nommé Gemini-Exp-1206, qui a atteint le score Arena Score le plus élevé sur le classement LMArena (Chatbot Arena). Le modèle a atteint 1379 points, dépassant légèrement le score de ChatGPT-4.0 avec 1366 points.

Gemini-Exp-1206 a marqué 1379 sur LMArena, comparé aux 1366 de ChatGPT-4.0.
ChatGPT-4.0 a reçu significativement plus de votes (21 929) que Gemini-Exp-1206 (5 052), indiquant une fiabilité supérieure.
Le modèle démontre des performances supérieures par rapport à la version précédente Gemini-Exp-1114.
Google décrit ces modèles expérimentaux comme des prototypes temporaires pour les tests et les retours, non adaptés à la production.

Le modèle est disponible gratuitement via Google AI Studio, offrant aux développeurs la chance de découvrir en avant-première les dernières avancées d'Google en IA.

Importance 3/3 Dépasse un benchmark d'un laboratoire de premier plan AIBase Google DeepMind Benchmark results

Benchmarks

Benchmark	Modèle	Score
LMSYS Arena (Elo)	Gemini-Exp-1206	1379Elo

Lire l'original

TestEvo-Bench : Benchmark live exécutable pour la co-évolution des tests et du code

Les chercheurs présentent TestEvo-Bench, un benchmark live conçu pour évaluer la capacité des agents à gérer la co-évolution des tests logiciels et du code. Contrairement aux benchmarks existants qui s'appuient sur des métadonnées statiques, ce framework utilise des historiques de commits réels et des configurations d'environnement pour vérifier des métriques exécutables telles que le taux de réussite et la couverture.

media r/LocalLLaMA · il y a 34 j

Meta a testé ChatGPT, Gemini et Character.AI avec des prompts de crise en perspective mineure

Selon les rapports, Meta aurait engagé des centaines de contractuels pour se faire passer pour des mineurs et envoyer des prompts liés au suicide, à la sexualité et aux drogues aux chatbots d'OpenAI, Google et Character.AI. Lors d'un seul tour de test, plus de 45 000 prompts ont été envoyés.

arxiv arXiv cs.CL · il y a 35 j · 1 vue

Le fine-tuning QLoRA de Gemma 4 31B comble l'écart d'extraction de relations interlinguales pour le roumain

L'étude examine l'extraction de relations interlinguales pour le roumain en traduisant le benchmark SemEval-2010 Task 8 et en évaluant Gemma 4 31B par rapport aux bases de référence à encodeur. Les résultats montrent que le fine-tuning QLoRA améliore le score F1 macro de plus de 22 points de pourcentage, réduisant l'écart interlingual de 3,3 à 1,4 pp.

arxiv arXiv cs.CL · il y a 35 j

L'évaluation en zero-shot montre que Gemini domine les LLM sur une taxonomie d'émotions à 13 classes

Une étude a évalué trois grands modèles de langage commerciaux — Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) et Gemini (gemini-2.5-flash) — sur une tâche de classification fine des émotions en zero-shot, à l'aide d'un échantillon stratifié de 1 000 phrases du jeu de données boltuix/emotions.

arxiv arXiv cs.CL · il y a 35 j · 2 vues

Les évaluateurs LLM manquent de prudence clinique malgré l'alignement statistique dans le benchmark MedQADE

L'étude présente MedQADE, un benchmark clinique standardisé à réponses ouvertes pour l'allemand, composé de 3 800 éléments annotés par dix médecins et neuf évaluateurs LLM. Elle examine si les approches automatisées de type LLM-as-a-Judge reproduisent la calibration et la prudence des cliniciens humains.