media Hugging Face Forums · il y a 1 h · open_models

L'auteur propose un registre ouvert de k pour la saturation des preuves dans les LLM locaux

Traduit de English → Français

L'auteur a publié un article pilote et un registre ouvert sur Hugging Face pour mesurer le point de saturation des preuves (k*) des modèles de langage. Cette métrique détermine le nombre optimal de fragments de preuves à injecter dans les prompts, car ajouter plus de contexte n'améliore pas de manière monotone la correction et peut augmenter le coût ou la contamination épistémique.

L'étude trouve que le k optimal pour la correction varie de 1 jusqu'à l'ensemble complet des preuves selon le type de tâche, suggérant qu'un profil de contexte unique est insuffisant.
Un Evidence-k Registry ouvert a été créé sur Hugging Face, ensemencé avec 35 mesures au niveau de la tâche issues de l'article.
Le registre invite les opérateurs de modèles locaux à contribuer en documentant les révisions de modèles, les quantifications, les backends servis et les métriques de fiabilité.

Cette initiative vise à fournir un protocole reproductible pour calibrer les fenêtres de contexte par modèle et backend afin d'équilibrer la correction avec l'efficacité.

Importance 1/3 Confiance 1/3 Hugging Face Forums Evaluation & benchmarks Retrieval & RAG

Lire l'original

Articles similaires

arxiv arXiv cs.CL · il y a 6 j

Les signaux LLM-as-a-judge échouent à optimiser la reconnaissance de tableaux en boucle fermée

Une étude utilisant FinTabNet et OmniDocBench démontre que les signaux LLM-as-a-judge sont insuffisants pour optimiser la régénération en boucle fermée dans la reconnaissance de tableaux. La recherche révèle que les scores des juges étaient fréquemment à égalité, les classements n'étaient pas reproductibles et le système a échoué à récupérer les meilleurs candidats produits par itération.

arxiv arXiv cs.CL · il y a 6 j

DeepStress teste sous stress les agents de recherche profonde face à des preuves non fiables

Les auteurs présentent DeepStress, un cadre pour tester sous stress les agents de recherche profonde en remplaçant leurs modules de récupération par un environnement synthétique contrôlé. Cette approche permet aux chercheurs de manipuler la fréquence et la qualité des preuves sur trois dimensions : la fiabilité, la pertinence et l'exactitude.

arxiv arXiv cs.CL · il y a 6 j · 2 vues

Hindcast comble les fuites de données dans l'évaluation des prévisionnistes LLM

Le cadre Hindcast évalue les prévisionnistes LLM en rejouant des marchés de prédiction Polymarket résolus contre une capture figée de Reddit public, notant les modèles comme s'ils existaient à une date passée spécifique. Cette approche empêche deux canaux courants de fuite de réponses : la récupération de rapports post-événement et la contamination des données d'entraînement par des événements survenus après la sortie du modèle.

arxiv arXiv cs.CL · il y a 7 j

Le RCWT mesure le déplacement du budget-tâche à partir du contenu de coordination dans les appels aux LLM

Le Roundtable Context Window Test (RCWT) est un protocole contrôlé conçu pour mesurer l'effet de déplacement du budget-tâche causé par l'insertion d'un contenu de coordination au sein du prompt fini des systèmes LLM multi-agents et augmentés de mémoire.

arxiv arXiv cs.CL · il y a 7 j

LakeQuest : Un benchmark à trois domaines pour la réponse aux questions ancrée dans les lacs de données

Les chercheurs présentent LakeQuest, un benchmark validé par des humains composé de 9 846 paires question-réponse conçu pour évaluer les pipelines retrieve-and-synthesize de bout en bout sur des lacs de données réalistes. L'ensemble de données couvre trois domaines diversifiés — métadonnées IA/ML, banque de détail et informations biomédicales multimodales sur les médicaments — et associe à chaque question des pointeurs de preuve exacts et sensibles au modalité.