लेखक Vision-Language-Action (VLA) अटैक पेपर के लिए रिपोर्टिंग मानकों के एक सेट का प्रस्ताव देता है ताकि परिणामों की पारदर्शिता और तुलनीयता में सुधार किया जा सके। प्रस्ताव तर्क देता है कि वर्तमान साहित्य अक्सर आवश्यक बेसलाइन डेटा और सांख्यिकीय संदर्भ से वंचित होता है, जिससे अटैक दक्षता के बारे में अस्पष्ट दावे होते हैं।
मुख्य आवश्यकताएं शामिल हैं:
- बिना घटाव के समान कार्य और सीड पर मिला हुआ बेनिगन नियंत्रण दर रिपोर्ट करना।
- सामान्य सन्निकटनों के बजाय छोटे नमूना आकार (उदाहरण के लिए, n=50) के लिए सफलता दरों पर विल्सन अंतराल का उपयोग करना।
- स्थानांतरण दावों को स्पष्ट करने के लिए यह स्पष्ट रूप से बताएं कि लक्ष्य एक स्टब, स्थानीय चेकपॉइंट या होस्टेड मॉडल था।
- विफल गिनतियों के संदर्भित करने के लिए खोज-आधारित अटैक के लिए परिणाम तालिकाओं में क्वेरी बजट शामिल करना।
लेखक इस बात पर समुदाय से प्रतिक्रिया चाहता है कि क्या ये मान उचित हैं और पूछता है कि क्या अन्य उपक्षेत्र पहले से ही समान रिपोर्टिंग अभ्यास का उपयोग करते हैं।