Bro77XP telah merilis proyek VTuber AI lokal 100% dan gratis yang dirancang untuk pemula dan non-pemrogram. Sistem ini memanfaatkan Whisper untuk pengenalan ucapan bahasa Inggris secara real-time, Ollama dengan model llama3.2 untuk inferensi LLM, dan Chatterbox TTS untuk generasi teks-ke-suara. Sistem ini memiliki fitur kloning suara zero-shot instan dan beroperasi dalam loop mendengarkan berkelanjutan yang secara otomatis mendeteksi keheningan untuk merekam hanya saat ada ucapan. Perangkat lunak ini terintegrasi dengan VTube Studio melalui API-nya untuk mengendalikan ekspresi mulut dan memicu animasi emosi berdasarkan respons yang dihasilkan. Meskipun awalnya dikembangkan pada GPU AMD, kode tersebut terutama mendukung pengguna CPU, memungkinkan operasi tanpa perangkat keras NVIDIA atau AMD tertentu. Penyiapan memerlukan Python 3.10.11 dan melibatkan pembuatan lingkungan virtual untuk menginstal dependensi inti seperti openai-whisper, pyaudio, dan websocket-client.
Bro77XP Rilis VTuber AI Lokal Ramah Pemula dengan Kloning Suara Zero-Shot
Diterjemahkan dari English → Bahasa Indonesia