Google telah meluncurkan Gemini 3.7 Flash, sebuah model penalaran hibrida yang dirancang untuk pemrograman dan alur kerja agens, yang menunjukkan kemampuannya mengendalikan perangkat Android melalui input visual. Artikel ini menguraikan bagaimana model tersebut memeriksa tangkapan layar mentah untuk merencanakan tindakan dan menghasilkan koordinat yang tepat, memungkinkan loop pengendalian perangkat interaktif tanpa bergantung pada pohon aksesibilitas.
- Loop agen menangkap tangkapan layar melalui ADB, mengevaluasinya dengan Gemini 3.7 Flash, dan menghasilkan panggilan alat dengan koordinat ternormalisasi 0–999.
- Sebuah skrip Python memetakan koordinat ini ke piksel fisik dan mengeksekusi tindakan seperti ketukan dan input teks.
- Dalam kasus uji, model berhasil menavigasi Chrome, menghapus popup, dan menyelesaikan Wordle dalam dua tebakan dengan membaca umpan balik berwarna.
- Pendekatan ini berfungsi di seluruh aplikasi asli, webview, dan antarmuka kanvas dinamis di mana alat otomatisasi tradisional gagal karena hilangnya node aksesibilitas.
Repositori quickstart sumber terbuka memungkinkan pengguna membangun alat pengujian UI otomatis, verifikasi alur pengguna, dan reproduksi bug eksploratif yang berfungsi terlepas dari struktur DOM yang mendasarinya.