media Latent Space · il y a 1 h · agents

La mise à jour Gemini 3.7 Flash remet GDM au premier plan

Traduit de English → Français

L'article met en évidence un graphique de la mise à jour Gemini 3.7 Flash montrant que les versions précédentes, en particulier 3.5 et 3.6 Flash, avaient pris du retard par rapport aux modèles plus récents des séries Claude 4.8+ et GPT 5.5+.

La mise à jour vise à combler les écarts de performance face à des concurrents comme Claude 4.8+ et GPT 5.5+.
Un graphique est cité comme l'aspect le plus convaincant de l'annonce, illustrant le retard précédent en matière de performance.

Importance 2/3 Latent Space Google DeepMind Benchmark results

Lire l'original

Le RAG clinique VITA égale ou surpasse les grands modèles de langage de pointe sur HealthBench

Un système de génération augmentée par récupération conçu spécifiquement, nommé VITA, destiné aux contextes à revenu faible et intermédiaire, a été évalué face à des grands modèles de langage à usage général sur le benchmark HealthBench. L'étude démontre qu'une conception spécifique au corpus peut maintenir des performances compétitives même lorsque de nouveaux modèles de pointe sont publiés.

arxiv arXiv cs.CL · il y a 1 j · 1 vue

Le VITA RAG spécifique au corpus égale ou bat les LLM de pointe sur HealthBench

VITA, un système de génération augmentée par récupération conçu pour les contextes à revenu faible et intermédiaire, se classe premier sur le sous-ensemble en anglais de HealthBench, surpassant GPT-5.4, o4-mini, Gemini 3.1 Pro et Claude Sonnet 4.6.

arxiv arXiv cs.AI · il y a 39 j

TestEvo-Bench : Benchmark live exécutable pour la co-évolution des tests et du code

Les chercheurs présentent TestEvo-Bench, un benchmark live conçu pour évaluer la capacité des agents à gérer la co-évolution des tests logiciels et du code. Contrairement aux benchmarks existants qui s'appuient sur des métadonnées statiques, ce framework utilise des historiques de commits réels et des configurations d'environnement pour vérifier des métriques exécutables telles que le taux de réussite et la couverture.

media r/LocalLLaMA · il y a 39 j

Meta a testé ChatGPT, Gemini et Character.AI avec des prompts de crise en perspective mineure

Selon les rapports, Meta aurait engagé des centaines de contractuels pour se faire passer pour des mineurs et envoyer des prompts liés au suicide, à la sexualité et aux drogues aux chatbots d'OpenAI, Google et Character.AI. Lors d'un seul tour de test, plus de 45 000 prompts ont été envoyés.

arxiv arXiv cs.CL · il y a 39 j · 1 vue

Le fine-tuning QLoRA de Gemma 4 31B comble l'écart d'extraction de relations interlinguales pour le roumain

L'étude examine l'extraction de relations interlinguales pour le roumain en traduisant le benchmark SemEval-2010 Task 8 et en évaluant Gemma 4 31B par rapport aux bases de référence à encodeur. Les résultats montrent que le fine-tuning QLoRA améliore le score F1 macro de plus de 22 points de pourcentage, réduisant l'écart interlingual de 3,3 à 1,4 pp.