Google DeepMind、動画に合わせてオーディオ生成できる「V2A」を発表。
公開:
ビデオ用オーディオ生成の革命:V2A技術の全容とその可能性
GoogleのAI開発組織「Google DeepMind」が現地日時の6月17日、映像と音声の同期を実現する新たな技術「V2A」(Video-to-Audio)を開発しました。[1]V2Aシステムは動画生成AI「Veo」と連携してBGMやリアルな効果音、キャラクターのセリフなどを生成する技術です。
この技術はビデオのピクセル情報とテキストプロンプトを融合させることで、リアルタイムでオーディオトラックを生成する能力を持っているのが特徴。従来の無音ビデオに生命を吹き込むことができます。
本技術により映画制作やビデオアーカイブの活用、教育用のコンテンツ制作など多岐にわたる分野での応用が期待されます。
V2Aは、ドラマティックな音楽、リアルな環境音、キャラクターのセリフを含む完全なサウンドスケープを短時間で作成することが可能です。
V2A技術と互換性のある「Veo」を利用するには
動画に合わせて音楽を生成するV2A技術は、Googleの動画生成AI「Veo」と互換性があります。Veoは現在一般公開されていませんが、ウェイトリストに登録することで優先的に利用できる可能性があります。ウェイトリストの登録手順は下記の通りです。
V2A技術が拓く新たな地平:クリエイティブ産業における影響と将来性
V2A技術によりビデオクリエイターや映画製作者、ゲームデザイナーまでもが視覚コンテンツと完全に同期したオーディオトラックを生成するツールを入手できます。
これまでのサウンドトラック制作には時間とコストがかかる作業でした。しかしV2A技術を利用することでリソースを大幅に削減しつつ、高品質なオーディオを迅速に生成できるのが魅力です。
また、自動化されたサウンド生成によって創造的なサウンドデザインが可能になり、ビデオコンテンツの表現力が飛躍的に向上します。
今後V2A技術は、エンターテインメント業界をはじめとする幅広い分野での革新を牽引することが予想されます。教育やトレーニングプログラムでは、特定の視覚シーンに合った音楽を追加することで、より理解しやすく記憶に残るコンテンツを作成可能です。
V2A技術の発展は動画コンテンツやサウンドトラックのあり方を根本から変える可能性を秘めています。
References
- ^ Google DeepMind. 「Generating audio for video」. https://www.soumu.go.jp/denshijiti/index_00001.html, (参照 2024-06-18).
※上記コンテンツの内容やソースコードはAIで確認・デバッグしておりますが、間違いやエラー、脆弱性などがある場合は、コメントよりご報告いただけますと幸いです。




