Penulis mengusulkan seperangkat standar pelaporan untuk makalah serangan Vision-Language-Action (VLA) untuk meningkatkan transparansi dan keterbandingan hasil. Proposal tersebut berargumen bahwa literatur saat ini sering kali kekurangan data dasar penting dan konteks statistik, yang mengarah pada klaim yang ambigu tentang efektivitas serangan.
Persyaratan kunci meliputi:
- Melaporkan tingkat kontrol jinak yang cocok pada tugas dan benih yang sama tanpa pengurangan.
- Menggunakan interval Wilson untuk tingkat keberhasilan pada ukuran sampel kecil (misalnya, n=50) daripada aproksimasi normal.
- Secara eksplisit menyatakan apakah targetnya adalah stub, checkpoint lokal, atau model yang dihosting untuk memperjelas klaim transfer.
- Memasukkan anggaran kueri dalam tabel hasil untuk serangan berbasis pencarian untuk memberikan konteks pada jumlah kegagalan.
Penulis mencari umpan balik komunitas tentang apakah standar-standar ini sesuai dan bertanya apakah subbidang lain sudah menerapkan praktik pelaporan serupa.