Para peneliti memperkenalkan RoboTTT, sebuah resep pelatihan yang memperluas konteks visuomotor untuk model dasar robot hingga 8.000 timestep tanpa meningkatkan latensi inferensi. Metode ini mengintegrasikan Test-Time Training ke dalam kebijakan Vision-Language-Action dengan menggunakan bobot cepat yang diperbarui melalui gradient descent selama pelatihan dan inferensi.
- Panjang konteks diskalakan menggunakan sequence action forcing yang dikombinasikan dengan truncated backpropagation through time.
- Pendekatan ini memungkinkan in-context imitation satu kali, peningkatan kebijakan secara langsung, dan ketahanan terhadap gangguan.
- RoboTTT meningkatkan kinerja keseluruhan sebesar 87% dibandingkan baseline single-step dan menyelesaikan tugas perakitan lima menit, sepuluh tahap yang gagal diselesaikan oleh model lain.
- Model yang dilatih dengan konteks 8K-timestep mengungguli model yang pretrained dengan 1K timestep sebesar 62%, menetapkan panjang konteks sebagai sumbu skalabilitas baru.
Para penulis menganggap ini signifikan karena membuka kemampuan untuk tugas multi-tahap, jangka panjang dan menunjukkan peningkatan stabil dalam kinerja closed-loop seiring meningkatnya konteks pretraining.