Автор предлагает набор стандартов отчетности для статей об атаках Vision-Language-Action (VLA), направленных на повышение прозрачности и сопоставимости результатов. В предложении утверждается, что текущая литература часто не содержит необходимых базовых данных и статистического контекста, что приводит к неоднозначным заявлениям об эффективности атак.

Ключевые требования включают:

  • Отчетность о совпадающем показателе безвредного контроля при том же задании и семени без вычитания.
  • Использование интервалов Уилсона для показателей успеха при малых размерах выборки (например, n=50) вместо нормальных приближений.
  • Явное указание того, являлась ли цель заглушкой, локальным контрольной точкой или размещенной моделью, чтобы прояснить утверждения о переносе.
  • Включение бюджетов запросов в таблицы результатов для атак на основе поиска для контекстуализации количества неудач.

Автор ищет отзывы сообщества о том, являются ли эти стандарты подходящими, и спрашивает, используют ли другие подразделы уже подобные практики отчетности.