media r/LocalLLaMA · il y a 1 h · open_models

DeepSeek V4 Flash 0731 atteint 82,7 % sur Terminal-Bench 2.1 dans un environnement public

Traduit de English → Français

Une évaluation indépendante utilisant le framework Ante 0.preview.71 confirme que DeepSeek V4 Flash 0731 obtient un score de précision de 82,7 % sur Terminal-Bench 2.1, égalant les résultats précédemment rapportés par DeepSeek.

L'exécution comprenait 445 essais sur 89 tâches avec 5 essais par tâche et un effort de raisonnement maximal.
Le modèle a réussi 368 essais sur 445, donnant une précision de 82,7 % (±1,79 SE).
L'évaluation a utilisé le modèle `deepseek/deepseek-v4-flash-0731` via OpenRouter sans compétences activées.

Toutes les configurations et les enregistrements d'essais sont publiquement disponibles dans un job Harbor pour vérification.

Les résultats démontrent que la performance de DeepSeek V4 Flash 0731 est sensible au framework d'évaluation, fournissant des données utiles pour le benchmarking.

Importance 2/3 Nouveau cadre d'évaluation avec différenciateurs r/LocalLLaMA DeepSeek Evaluation & benchmarks

Benchmarks

Benchmark	Modèle	Score
Terminal-Bench 2	DeepSeek V4 Flash 0731	82.7%

Lire l'original

La calibration réduit le couplage des préférences de l'évaluateur dans les boucles de rétroaction des agents LLM

Une étude examine si la calibration probabiliste des jugements de l'évaluateur peut atténuer le "couplage des préférences de l'évaluateur", où des biais systématiques se propagent vers la stratégie d'un agent LLM. Les auteurs présentent la première analyse de cette approche d'atténuation, en appliquant la calibration aux jugements par paires pour réduire la propagation de préférences fallacieuses.

arxiv arXiv cs.CL · il y a 36 j

Le benchmark SPLIT évalue l'empathie interlinguale et l'ancrage culturel dans les réponses des LLM en anglais et en ukrainien

Le benchmark SPLIT est introduit pour évaluer la cohérence des grands modèles de langage (LLM) à générer des réponses émotionnellement ancrées sur cinq catégories liées aux crises : Stress, Panique, Solitude, Déplacement interne et Tension. Le cadre évalue trois LLM techniquement diversifiés sur la précision empathique, la naturalité linguistique et l'ancrage contextuel et culturel en anglais et en ukrainien.

media r/LocalLLaMA · il y a 37 j · 2 vues

Suivi : DeepSeek V4 Flash sur 2x RTX PRO 6000 termine les tâches de codage réelles plus rapidement que Sonnet et Opus, avec une qualité approximativement équivalente à celle de Sonnet

Un benchmark de suivi évalue DeepSeek V4 Flash exécuté sur deux GPU RTX PRO 6000 en utilisant vLLM, comparant ses performances dans des tâches de codage réelles par rapport aux modèles basés sur API comme Claude Sonnet et Opus. L'étude révèle que bien qu'Opus et Fable maintiennent une qualité de code supérieure, DeepSeek V4 Flash atteint une qualité approximativement au niveau de Sonnet avec des temps d'exécution significativement plus courts.

media r/LocalLLaMA · il y a 2 j · 1 vue

Résultats de DeepSeek V4 Flash 0731 sur ARC-AGI

L'article présente les résultats du benchmark ARC-AGI pour le modèle DeepSeek V4 Flash 0731. Il renvoie à la page officielle des résultats hébergée par l'organisation ARC Prize.

lab Hugging Face Blog · il y a 2 j · 3 vues

TutorMoments évalue si les tuteurs IA savent quand aider ou se retenir

Les chercheurs présentent TutorMoments, un cadre conçu pour mesurer si les grands modèles de langage peuvent équilibrer le compromis pédagogique entre fournir un soutien et encourager la réflexion autonome. Basé sur des transcriptions réelles de tutorats individuels en mathématiques, le système rejoue les points de décision pour évaluer le comportement du modèle par rapport à une vérité terrain annotée par des humains.