Terjemahan bahasa isyarat tingkat kalimat secara real-time di Raspberry Pi

Para peneliti mengembangkan sistem terjemahan bahasa isyarat tingkat kalimat secara real-time dengan melakukan fine-tuning pada tumpukan SHuBERT-ByT5 di subset 9.872 contoh dari How2Sign. Model tersebut mencapai BLEU validasi sebesar 16,7 dan BLEU uji sebesar 15,9.

Sistem ini memanfaatkan arsitektur streaming yang sadar perangkat keras di mana Raspberry Pi 4B menangani pengambilan dan tampilan sementara backend melakukan persepsi dan terjemahan. Optimasi termasuk ingestion berbasis chunk, antrian terbatas, dan penataan ulang temporal mengurangi latensi respons rata-rata pasca-finalisasi dari 1,873 menjadi 1,354 detik.

Peningkatan ini menurunkan latensi P95 dari 2,919 menjadi 2,130 detik, memungkinkan penyebaran praktis untuk komunikasi alami di berbagai perangkat klien.