Technologue.id, Jakarta - DeepMind, laboratorium penelitian AI Google tengah mengembangkan teknologi AI terbaru untuk menghasilkan soundtrack video. Meskipun banyak organisasi yang mengembangkan AI penghasil video, model ini tidak dapat membuat efek suara untuk disinkronkan dengan video yang dihasilkan.
“Model pembuatan video mengalami kemajuan pesat. Namun, banyak sistem yang hanya dapat menghasilkan video tanpa efek suara. Teknologi V2A (Voice to Audio) bisa menjadi pendekatan yang menjanjikan untuk menghidupkan suara dalam film yang dihasilkan,” tulis DeepMind.
Baca Juga:
Xiaomi Buka Lowongan Kerja untuk Proyek Mobil Bertenaga Hybrid
Teknologi V2A DeepMind mengambil deskripsi soundtrack (misalnya ubur-ubur berdenyut di bawah air, kehidupan laut, lautan) yang dipasangkan dengan video untuk menciptakan musik, efek suara, dan bahkan dialog yang cocok dengan karakter serta nada video.
“Dengan melatih video, audio, dan anotasi tambahan, teknologi kami belajar mengaitkan peristiwa audio tertentu dengan berbagai adegan visual, sambil merespons informasi yang diberikan dalam anotasi atau transkrip,” menurut DeepMind.
Alat penghasil suara bertenaga AI bukanlah hal baru. Startup Stability AI baru saja meluncurkannya minggu lalu, sementara ElevenLabs meluncurkannya pada bulan Mei. Semua itu bukan model untuk membuat efek suara video.
DeepMind mengklaim bahwa teknologi V2A-nya unik karena dapat memahami piksel mentah dari video dan menyinkronkan suara yang dihasilkan dengan video secara otomatis, tanpa deskripsi. Namun, V2A tidaklah sempurna, dan DeepMind mengakui hal ini. Karena model dasarnya tidak dilatih pada banyak video dengan artefak atau distorsi.
Baca Juga:
Apple iPhone 17 Diprediksi Punya Ukuran Paling Tipis
Karena alasan tersebut, dan untuk mencegah penyalahgunaan, DeepMind mengatakan tidak akan merilis teknologi tersebut ke publik dalam waktu dekat, atau bahkan selamanya.
“Untuk memastikan teknologi V2A kami dapat memberikan dampak positif pada komunitas kreatif, kami mengumpulkan beragam perspektif dan wawasan dari para pencipta dan pembuat film terkemuka. Sebelum kami sebar luaskan, teknologi V2A akan menjalani penilaian dan pengujian keamanan yang ketat,” kata DeepMind.