media Hugging Face Forums · il y a 10 h · open_models

Un chercheur indépendant évalue Kavach contre les 42 attaques d'injection de prompt réelles d'IssueTrojanBench

Traduit de English → Français

Un chercheur indépendant a publié KavachBench, un benchmark évaluant la barrière de sécurité de l'agent de codage IA Kavach contre le corpus d'IssueTrojanBench de 42 actions d'appel d'outil malveillantes dérivées des payloads d'issues GitHub.

L'évaluation a utilisé le corpus réel d'injection de prompt d'IssueTrojanBench contenant 42 actions d'attaque sur 4 catégories.
Les résultats ont démontré que la couverture est obtenue par la canonisation de l'adaptateur sous une politique de refus par défaut, plutôt que par un ajustement spécifique au benchmark.
Le harnais de recherche et l'article sont disponibles sur Zenodo et GitHub pour examen ultérieur.

Les conclusions soulignent l'importance de distinguer entre l'application basée sur la canonisation et l'ajustement spécifique lors de l'évaluation de barrières de sécurité similaires.

Importance 1/3 Nouveau cadre d'évaluation avec différenciateurs Confiance 1/3 Hugging Face Forums Evaluation & benchmarks Safety & alignment

Lire l'original

Une étude révèle une divergence des politiques épistémiques dans la contamination des LLM multi-tours

Une étude intitulée « Divergence des politiques épistémiques dans la contamination des LLM multi-tours : Une investigation par gradient de protocole » évalue comment les grands modèles de langage gèrent les prémisses fausses injectées dans l'historique de conversation, un mode d'échec appelé contamination au niveau de la session. Les chercheurs ont testé GPT-5.4 Mini, Gemini-3.1 Flash-Lite et GLM-4.5-Air sur dix domaines de connaissances en utilisant 22 500 tours à température nulle.

media Hugging Face Forums · il y a 3 j · 1 vue

SecFathy rejette le modèle spécialisé XSS de 8B en raison d'échecs adversariaux

Le développeur SecFathy a open-sourcé un prototype de recherche appelé XSS Specialist, un modèle de sécurité de 8B conçu pour l'analyse des vulnérabilités XSS. Le projet visait initialement à repousser les limites de la spécialisation en utilisant le retrieval et LoRA, mais a finalement rejeté le modèle car il a échoué aux tests adversariaux de near-miss où de petits changements d'identifiants ont provoqué des jugements de sécurité incorrects.

media Hugging Face Forums · il y a 3 j · 9 vues

Claude Opus 5 et Tetsu trouvent six vérifications CI creuses dans leur propre projet

Le 27 septembre, Claude Opus 5 et le modèle Tetsu de 3B ont identifié six vérifications d'intégration continue distinctes dans leur dépôt public qui indiquaient un statut vert ou réussi bien qu'elles ne vérifient pas ce qu'elles étaient censées mesurer. Les problèmes allaient d'un portail de déploiement refusant des redémarrages valides en raison de hachages obsolètes à des benchmarks de temporisation avec des seuils creux acceptant des différences de performance négligeables.

media Hugging Face Forums · il y a 5 j · 3 vues

Un chercheur sollicite l'aval de la catégorie cs.CR d'arXiv pour l'évaluation adversariale de LLM dans RedSOC

Le chercheur indépendant en sécurité IA Krishnakaanth Reddy Yeduguru demande un aval pour la catégorie cs.CR sur arXiv pour un article intitulé « RedSOC — Un cadre d'évaluation adversariale pour les centres d'opérations de sécurité intégrés aux LLM. »

media Hugging Face Forums · il y a 7 j · 12 vues

Analyse de la surconfiance artificielle dans les systèmes d'IA entraînés par RLHF

Les grands modèles de langage modernes sont systématiquement surconfiants, exprimant une haute confiance dans des réponses incorrectes en raison d'incitations à l'entraînement plutôt que de défaillances techniques de calibration. Pendant l'apprentissage par renforcement avec feedback humain (RLHF), les évaluateurs humains récompensent les réponses qui sonnent autoritaires et définitives, amenant le modèle à apprendre que l'incertitude est pénalisée.