arxiv arXiv cs.CL · il y a 2 j · source : il y a 4 j · research

Rep2Act aligne les représentations des VLM pour améliorer l'abstention sur le nouveau benchmark VAD-R

Traduit de English → Français

Les chercheurs présentent Visual Answerability Diagnosis with Rationales (VAD-R), un nouveau benchmark conçu pour évaluer la capacité des modèles vision-langage à s'abstenir de répondre aux questions sans réponse, sans se fier à des indices de raccourci. L'étude révèle que si les états cachés peuvent distinguer l'accessibilité de la réponse, les modèles actuels échuent à traduire cela en décisions explicites.

VAD-R utilise un pipeline en deux étapes de filtrage des raccourcis et de vérification de la qualité avec des rationnels étape par étape.
Les VLM open-source de pointe montrent une abstention spontanée limitée, avec des taux de rappel moyens de seulement 11,4 %.
Les auteurs proposent Rep2Act, une méthode pour aligner la conscience latente de l'accessibilité de la réponse avec des actions d'abstention explicites.
Rep2Act améliore la précision de l'action sur VAD-R, passant d'environ 56-59 % à plus de 86-88 % pour les modèles Qwen2.5-VL.
Sur le benchmark hors distribution TUBench, Rep2Act atteint un score F1 moyen de 53,3 %, surpassant GPT-4 Turbo et GPT-4o.

Cette approche comble l'écart entre la représentation et l'action, permettant aux VLM de reconnaître efficacement quand ils ne devraient pas répondre à une question.

Importance 2/3 Dépasse un benchmark d'un laboratoire de premier plan arXiv cs.CL Alibaba (Qwen) Evaluation & benchmarks Research paper

Lire l'original

Articles similaires

media Hugging Face Forums · il y a 17 j · 29 vues

Une étude identifie des FragileTokens qui échouent à la copie contextuelle malgré le passage des tests d'isolation

Une étude caractérise les « FragileTokens », entrées de vocabulaire dans les modèles de langage à poids ouverts qui copient avec succès lorsqu'ils sont isolés mais présentent des erreurs lorsqu'ils sont intégrés dans un texte environnant. La recherche souligne que la préservation littérale de l'identité n'est pas garantie par les tests d'isolation standards, car les tokens peuvent être supprimés, substitués ou tronqués au sein de séquences.

arxiv arXiv cs.LG · il y a 79 j · 17 vues

Le mise à l'échelle au moment du test améliore les petits VLM sur les QCM visuels multilingues

L'étude examine si la mise à l'échelle au moment du test (TTS) se transfère aux petits modèles de vision-langage ouverts en utilisant le benchmark EXAMS-V, comparant des méthodes comme la cohérence auto et la recherche en faisceau guidée par PRM sur Qwen2.5-VL-7B-Instruct et Qwen3.5-4B.

arxiv arXiv cs.AI · il y a 82 j · 14 vues

AMALIA-9B échoue à mesurer valablement l'autorité morale malgré un fort accord humain

Une étude évalue AMALIA, un modèle portugais européen de 9 milliards de paramètres, et constate qu'il ne peut pas mesurer valablement la base morale de l'autorité malgré un accord élevé avec les codeurs humains. Bien qu'AMALIA atteigne des scores d'accord bruts équivalents à des modèles ouverts huit à treize fois plus grands, il échoue à retrouver ses performances lorsque les prompts sont décomposés en clauses atomiques, ce qui suggère une dépendance aux corrélats de surface comme l'indignation morale plutôt qu'aux constructions théoriques.

arxiv arXiv cs.CL · il y a 82 j · 14 vues

Les modèles Qwen3-Next peinent à réduire la demande cognitive dans le contrôle éducatif aligné sur Bloom

Les chercheurs présentent un cadre aligné sur Bloom pour mesurer la capacité des grands modèles de langage (LLM) à préserver l'intention pédagogique tout en orientant la demande cognitive vers des objectifs d'apprentissage spécifiques. L'étude évalue Qwen3-Next-80B-A3B-Instruct et Qwen3-Coder-Next sur 2 520 tâches de programmation issues de trois benchmarks.

arxiv arXiv cs.CL · il y a 89 j · 18 vues

Les LLM montrent des politiques distinctes sous pression sceptique plutôt qu'un retrait sycophantique

Une étude testant Llama-3.1-8B, Qwen2.5-7B et Mistral-7B sur les domaines du climat, des vaccins et de l'évolution constate que les modèles ne reculent pas de manière sycophantique face au consensus scientifique lorsque les utilisateurs expriment des doutes. Au lieu de cela, les modèles exhibent trois politiques distinctes : une assertion réactive où le consensus augmente (Llama), un hedging de surface avec un ton adouci (Qwen), et une non-réponse (Mistral).