Googleの「VideoPoet」が凄すぎる!プロンプトや画像から動画を自動生成。動画編集の常識が変わるかも。

Googleの「VideoPoet」が凄すぎる!プロンプトや画像から動画を自動生成。動画編集の常識が変わるかも。

公開: 更新:
だーだい
フリーランスWebライター兼Web製作者。Webライターとしてガジェットメディアやプログラミングに関する記事を執筆する傍ら、LP制作とWordPressの改修案件もこなしつつ、活動しています。 profile


VideoPoetとは?

Googleは現地時間の12月19日、大規模言語モデル「VideoPoet」を発表しました。

VideoPoetは、テキスト入力や画像から高品質な動画を生成したり、生成した動画に音源を挿入したりできるのが特徴。シンプルなテキストから複雑なビジュアルシーンまで動画にできることから注目されています。[1]

また、短い指示文から長編の映像まで、幅広い用途に応じた動画の生成が可能です。

VideoPoetで動画を生成できる仕組み

VideoPoetは、複数のトークナイザー(データ変換ツール)を使用して、テキスト、画像、動画、音声などの異なる形式のメディアを統一的に扱えるようにする技術です。

videopoet2

Google Researchより

具体的には、「MAGVIT V2」というトークナイザーを画像や動画に使用し、一方で音声には「SoundStream」というトークナイザーを使用します。

これらのツールは、入力されたメディア(画像、動画、音声)を特定のコードのシーケンス(一連の単位)に変換することで、異なるタイプのメディアを同じ形式のデータとして処理できるようにします。

この変換のおかげで、テキストベースの言語モデルが動画や音声のデータを理解して処理できます。


Python基礎・実践(Django)

企業・法人向けのPython研修では、基礎から応用まで体系的に学べます。

Python研修の詳細

DX社員研修

企業・法人向けのDX研修では、実務に繋がるリスキリングでITレベルを向上させます。

DX研修の詳細

Javaエンジニア育成研修

企業・法人向けのJavaエンジニア育成研修では、Javaの基礎から応用まで確実に習得できます。

Java研修の詳細

新卒・新入社員向け研修

企業・法人に新入社員・新卒社員に向けたプログラミング研修を提供しています。

新入社員研修の詳細

コードキャンプのIT研修を全て見る

VideoPoetでできること

視覚的なストーリーテリング

VideoPoetは、さまざまな短いクリップを使用して視覚的な物語を伝えるショートムービーを作成する機能も備えています。

本機能の例としてGoogle Research[1]では、旅するアライグマに関する短編小説をテーマにした一連のビデオクリップを生成しています。

上記動画の作成手順は下記の通りです。

  • 物語についての詳細なテキストプロンプトを作成
  • それぞれのプロンプトに基づいて個別のビデオクリップを作成
  • これらのクリップを組み合わせて完成

このように、自分だけの物語をビジュアル形式で表現し、視聴者に新たな体験を提供できます。

多様な映像生成

VideoPoetは、テキストや画像からビデオを作ったり、ビデオのスタイル変更や編集をしたりとさまざまな映像タスクに対応しています。これにより、ユーザーはクリエイティブなアイデアを実現し、独自のビデオコンテンツを作成できます。

おすすめのPython研修一覧

Python研修を提供しているおすすめの企業・法人を一覧で掲載しております。

Python研修の一覧を見る

おすすめのDX研修一覧

DX研修を提供しているおすすめの企業・法人を一覧で掲載しております。

DX研修の一覧を見る

おすすめのJava研修一覧

Java研修を提供しているおすすめの企業・法人を一覧で掲載しております。

Java研修の一覧を見る

おすすめのJavaScript研修一覧

JavaScript研修を提供しているおすすめの企業・法人を一覧で掲載しております。

JavaScript研修の一覧を見る

柔軟な動画編集を実現

VideoPoetを使うことで動画の内容を延長したり、異なるスタイルやエフェクトを適用したりして動画編集できます。

動画の外観をカスタマイズできるので、個々のプロジェクトに合った動画を作成可能。動画作成における創造性と柔軟性を高める機能を備えています。

ゼロショットのスタイル化とカメラモーション

プロンプトを使用して動画のスタイルを変更できます。

videopoet1

Google Researchより

例えば、シンプルなウォンバットの動画を、晴れたビーチでビーチボールを持ったサングラスをかけたウォンバットへ変更できます。

この機能により、ビデオの雰囲気や外観を変更して異なる視覚的印象を作り出せます。ほかにも、カメラモーションの種類を指定することでビデオの動きをコントロールし、より洗練された映像表現を実現できます。

VideoPoetのまとめと今後の考察

VideoPoetでテキストや画像を動画にできるため、動画制作にかかるコストを大幅に削減できる可能性があります。プロンプトによって動画を生成できるため、プロンプトエンジニアリングを活かした動画クリエイターも出てきそうですね。

その一方で、著作権やプライバシーに関する課題が生じる可能性もあるため、今後は適切な規制やガイドラインの策定が重要です。

また、AIの規制問題だけでなく、ユーザー自身が責任を持ってテクノロジーを使用することが求められるでしょう。このように、VideoPoetは多大な可能性を秘めている一方で、その利用には慎重な対応が必要です。

References

  1. ^ Google Research. 「Video Poet」. https://sites.research.google/videopoet/, (参照 2023-12-21).

※上記コンテンツの内容やソースコードはAIで確認・デバッグしておりますが、間違いやエラー、脆弱性などがある場合は、コメントよりご報告いただけますと幸いです。

ITやプログラミングに関するコラム


ITやプログラミングに関するニュース

ブログに戻る

コメントを残す

コメントは公開前に承認される必要があることにご注意ください。

コードキャンプIT・プログラミング研修事例/現場により近いところにデジタルを根付かせるDX基礎講座研修|株式会社ブリヂストン - ITやプログラミングを知って学べるコネクトメディア コードキャンプIT・プログラミング研修事例/業務の効率化・DX推進に向けたIT人材育成への第一歩|株式会社カナエ - ITやプログラミングを知って学べるコネクトメディア 企業・法人向けのIT・プログラミング研修 - ITやプログラミングを知って学べるコネクトメディア 中途採用者向けのIT・プログラミング研修 - IT・プログラミングを知って学べるコネクトメディア

新着記事

対象者別で探す

子供(小学生・中学生・高校生)向け
プログラミング教室検索する

子供(小学生・中学生・高校生)がロボットやプログラミング言語を学ぶことができるオフラインからオンラインスクールを検索、比較することが可能です。

子供(小学生・中学生・高校生)
プログラミング教室検索する

ITやプログラムなどの
最新情報を検索する

日々、新しいITやプログラミング言語の情報が流れていきますが、特定の情報を時系列でニュースやコラムを確認することができます。

ITやプログラムなどの
最新情報を検索する