أطلقت جوجل جيمياني 3.7 فلاش، وهو نموذج استدلال هجين مصمم لأعمال البرمجة وسير العمل الوكيلية، ويُظهر قدرته على التحكم في أجهزة أندرويد من خلال المدخلات البصرية. تفصّل المقالة كيف يفحص النموذج لقطات الشاشة الخام لتخطيط الإجراءات وإصدار إحداثيات دقيقة، مما يتيح حلقات تحكم تفاعلية في الجهاز دون الاعتماد على أشجار إمكانية الوصول.
- يلتقط حلقة الوكيل لقطات شاشة عبر ADB، ويقيّمها باستخدام جيمياني 3.7 فلاش، ويُصدر استدعاءات أدوات بإحداثيات مُطَبَّقة من 0 إلى 999.
- يربط نص بايثون هذه الإحداثيات بالبكسل الفيزيائي وينفذ إجراءات مثل النقرات وإدخال النص.
- في حالة اختبار، تنقّل النموذج بنجاح عبر متصفح كروم، وأزال النوافذ المنبثقة، وحل لعبة ووردل في تخمينين من خلال قراءة التغذية الراجعة الملونة.
- يعمل هذا النهج عبر التطبيقات الأصلية وعروض الويب وواجهات اللوح الديناميكية حيث تفشل أدوات الأتمتة التقليدية بسبب غياب عقد إمكانية الوصول.
يتيح مستودع البدء السريع مفتوح المصدر للمستخدمين بناء أدوات اختبار واجهة المستخدم الآلية، والتحقق من تدفق المستخدم، وإعادة إنتاج الأخطاء الاستكشافية التي تعمل بغض النظر عن هياكل DOM الأساسية.