media Hugging Face Forums · il y a 16 h · open_models

Linda-Pro lance un détecteur local de texte AI en anglais utilisant la stylistométrie et DeBERTa

Traduit de English → Français

Linda-Pro est un nouvel outil local pour détecter le texte en anglais généré par l'IA qui combine la stylistométrie avec deux modèles DeBERTa ajustés. Il analyse le texte dans des fenêtres d'environ 300 mots et fournit une carte thermique par phrase pour identifier l'auteur mixte.

Sur le benchmark de Chicago Booth, il atteint 99,7 % de détection pour le texte AI brut et 85 % après l'humanisation avec StealthGPT à 1 % de faux positifs.
Il a signalé 92,6 % des textes provenant de générateurs que les modèles n'ont jamais vus pendant l'entraînement.
Les points faibles incluent les essais d'examen TOEFL avec 8,8 % de faux positifs (réduits à 1,1 % en mode précis), le texte humanisé et les textes courts.

Les poids du modèle sont disponibles pour une utilisation de recherche gratuite sur Hugging Face, et le code est fourni sur GitHub pour l'évaluation locale.

Importance 1/3 Confiance 1/3 Hugging Face Forums Evaluation & benchmarks Open weights

Lire l'original

Together présente sa stratégie de migration des modèles propriétaires vers des modèles open source

Together propose un cadre permettant aux entreprises de migrer des modèles d'IA propriétaires vers des modèles open source (OSM) à l'aide de services gérés, avec pour objectif de réduire la complexité et d'accélérer l'adoption. Le processus implique de découvrir des modèles adaptés grâce à des benchmarks, de les évaluer via la relecture du trafic, d'adapter les prompts ou les poids, et de calculer le ROI pour justifier le changement.

arxiv arXiv cs.CL · il y a 63 j · 26 vues

OSReward introduit une évaluation standardisée pour les modèles de récompense d'utilisation d'ordinateur multiplateformes

Les chercheurs présentent OSReward, un benchmark réaliste conçu pour évaluer la fiabilité des modèles vision-langage (VLM) agissant comme juges pour les trajectoires d'agents utilisant un ordinateur. L'étude révèle que même les VLM les plus avancés souffrent d'un biais de clémence systématique et sont souvent trop coûteux à l'échelle, tandis que les modèles ouverts abordables performe mal.

media Hugging Face Forums · il y a 71 j · 21 vues

John6666 publie la première implémentation de référence indépendante pour REO v1.5

John « John6666 » a développé la première implémentation de référence indépendante du protocole Reference Evaluation Object (REO v1.5), réalisant un objectif clé du programme de recherche EPE visant à permettre des benchmarks reproductibles par des contributeurs externes.

arxiv arXiv cs.CL · il y a 89 j · 22 vues

AGC-Bench introduit un benchmark unifié et AGC-Judge pour mesurer la créativité générale artificielle

Les chercheurs présentent AGC-Bench, un benchmark unifié pour la créativité générale artificielle construit à partir de 3 101 articles filtrés et couvrant 78 jeux de données dans des domaines tels que le brainstorming et les STEM. Pour pallier les biais de l'évaluation automatisée, l'équipe a affiné Qwen3-30B sur des notes corrigées des biais afin de créer AGC-Judge, un modèle à poids ouverts qui évalue robustement les nouveaux benchmarks de créativité.

media r/LocalLLaMA · il y a 91 j · 21 vues

Gemma-4-31B affiné pour le copywriting : +290 Elo sur EqBench3

Un utilisateur a publié un affinage étroit du modèle Gemma-4-31B-it, spécifiquement optimisé pour les tâches de copywriting et d'écriture créative. Le modèle a été entraîné à éliminer les clichés marketing génériques et à adopter un style de réponse directe caractérisé par des détails concrets et des appels à l'action serrés.