Un investigador independiente publicó KavachBench, un benchmark que evalúa la barrera de seguridad del agente de codificación con IA Kavach contra el corpus de IssueTrojanBench de 42 acciones maliciosas de llamada a herramientas derivadas de cargas útiles de issues de GitHub.

  • La evaluación utilizó el corpus real de inyección de prompts de IssueTrojanBench que contiene 42 acciones de ataque en 4 categorías.
  • Los resultados demostraron que la cobertura se logra mediante la canonización del adaptador bajo una política de denegación predeterminada, en lugar de un ajuste específico del benchmark.
  • El entorno de investigación y el artículo están disponibles en Zenodo y GitHub para su revisión.

Los hallazgos destacan la importancia de distinguir entre la aplicación basada en canonización y el ajuste específico al evaluar barreras de seguridad similares.