開発者のSecFathyは、XSS脆弱性分析用に設計された8Bのセキュリティモデルである「XSS Specialist」という研究プロトタイプをオープンソース化した。このプロジェクトは当初、取得とLoRAを用いて専門性の限界を押し広げることを目指していたが、小さな識別子の変更が誤った安全判定を引き起こす敵対的なニアミステストで失敗したため、最終的にモデルを拒否することになった。

  • 開発者はシステムを再設計し、推論と真実の確立を分離し、確認権限を独立した実行レイヤーに移行させた。
  • 潜在的なXSS発見は、実際のヘッドレスブラウザがベニグナルを実行した場合にのみ確認される。
  • 凍結された102ケースのライブベンチマークにおいて、結果として得られたアーキテクチャは94.1%の精度と100%のリコール、ゼロの偽陰性を実現した。
  • コード、アーキテクチャ、ベンチマーク、およびネガティブな結果は、SecFathy/xss-specialistの下でGitHub上で公開されている。

著者は、信頼性の高いAIシステムは、モデルを信頼できるものにすることに依存するのではなく、モデルが間違っている場合でも機能し続けるように設計されるべきだと主張している。