media Hugging Face Forums · il y a 1 h · open_models

Un chercheur sollicite l'aval de la catégorie cs.CR d'arXiv pour l'évaluation adversariale de LLM dans RedSOC

Traduit de English → Français

Le chercheur indépendant en sécurité IA Krishnakaanth Reddy Yeduguru demande un aval pour la catégorie cs.CR sur arXiv pour un article intitulé « RedSOC — Un cadre d'évaluation adversariale pour les centres d'opérations de sécurité intégrés aux LLM. »

L'étude présente des résultats clés, notamment un taux de réussite d'attaque (ASR) de 100 % pour l'injection indirecte de prompts et un ASR de 80 % pour l'empoisonnement du corpus. De plus, la couche de détection proposée a atteint une détection de 100 % sur 15 scénarios et 10 exécutions indépendantes sans nécessiter les internes du modèle.

L'auteur fournit un code d'aval (3RCVLY) pour faciliter le processus de révision sur arXiv.

Importance 1/3 Nouveau cadre d'évaluation avec différenciateurs Confiance 1/3 Hugging Face Forums Evaluation & benchmarks Safety & alignment

Lire l'original

Analyse de la surconfiance artificielle dans les systèmes d'IA entraînés par RLHF

Les grands modèles de langage modernes sont systématiquement surconfiants, exprimant une haute confiance dans des réponses incorrectes en raison d'incitations à l'entraînement plutôt que de défaillances techniques de calibration. Pendant l'apprentissage par renforcement avec feedback humain (RLHF), les évaluateurs humains récompensent les réponses qui sonnent autoritaires et définitives, amenant le modèle à apprendre que l'incertitude est pénalisée.

media Don't Worry About the Vase · il y a 1 j · 3 vues

Anthropic publie la fiche système de Claude Opus 5.5 détaillant sécurité et capacités

Anthropic a publié la fiche système pour Claude Opus 5.5, le décrivant comme son modèle le plus puissant selon certaines mesures et affirmant une parité ou une supériorité par rapport à Fable 5.1 tout en étant moins cher qu'Opus 5.

lab OpenAI News · il y a 2 j · 15 vues

OpenAI publie MentalHealthBench pour évaluer les réponses des IA en santé mentale

OpenAI a présenté MentalHealthBench, un benchmark ouvert conçu pour évaluer la manière dont les systèmes d'IA répondent dans des conversations réalistes sur la santé mentale. Développé avec plus de 80 experts en santé mentale agréés provenant de 22 pays, ce benchmark évalue les capacités des modèles sur des comportements clés tels que la sécurité, la recherche de contexte et le maintien de l'autonomie de l'utilisateur.

media Hugging Face Forums · il y a 4 j · 11 vues

Levent Bulut resserre la définition du « biais de résumé » et enregistre un protocole falsifiable

Levent Bulut a mis à jour la définition opérationnelle du « biais de résumé », passant d'une description vague à une construct testable, en établissant un protocole de recherche enregistré avec des falsificateurs prédéfinis. La nouvelle définition caractérise le biais comme la tendance systématique des modèles à remplacer la structure du mode montré par des étiquettes de résumé abstraites (mode dit), plutôt que de simplement supprimer les détails.

media Hugging Face Forums · il y a 4 j · 18 vues

Erreurs corrélées dans le quorum de juges modèles similaires mesurées dans la porte éthique à fermeture échouée

Un registre pair-à-pair avec une porte éthique à fermeture échouée composée d'un classificateur sac-de-mots distillé, d'un siège sémantique et d'un panel de petits modèles ouverts (qwen2.5:7b, llama3.2:3b, gemma2:2b) révèle que les juges partageant des caractéristiques présentent des erreurs corrélées plutôt qu'indépendantes.