南開大学とByteDance社が共同開発した「StoryDiffusion」を発表。キャラクターの一貫性と実現した新技術

• StoryDiffusionは一貫した自己アテンションを用いて、高品質な漫画キャラクターとストーリーを生成する技術です
• この技術は、ユーザー入力や事前に生成された画像を条件として用い、動画生成においてもセマンティックな動きを予測する能力を持っています
• StoryDiffusionは複数のキャラクターの一貫性を保ちながら同時に管理・生成することが可能で、効率的なコミック生成を実現します

南開大学とByteDance社の共同開発により、キャラクターを一貫した状態でさまざまなシーンの画像およびビデオを生成できる「StoryDiffusion」が発表されました。^[1]

複数のキャラクターのIDを同時に保持し、一貫性のある画像を生成できるのが特徴。これらの機能を利用してストーリー性のある漫画を生成できます。

また、ユーザーがアップロードした画像から自動的に動画を生成することも可能。一貫したキャラクターでさまざまなシーンの画像や動画を生成できるのが魅力です。

StoryDiffusionを使うことで、映画やアニメーション制作で必要とされるキャラクターやシーンの一貫性を維持しつつ高品質なコンテンツを生成できます。StoryDiffusionによってコンテンツクリエーターは制作の自由度が大幅に増し、より創造的で質の高い作品を短時間で制作できるようになるでしょう。

特に多言語のシナリオに対応可能なこのAI技術は、国際的なプロジェクトでの利用が見込まれます。また、この技術の普及はAI映像生成ツールの教育やビジネスへの応用も拡大し、より多くの人々が専門的な映像制作技術を学ぶきっかけとなるかもしれません。

今後、StoryDiffusionはより高度なAI機能を統合することで、さらに多様な映像制作のニーズに応えることが期待されています。

References

1. ^ StoryDiffusion. 「StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation」. https://storydiffusion.github.io/, (参照 2024-05-01).

※上記コンテンツの内容やソースコードはAIで確認・デバッグしておりますが、間違いやエラー、脆弱性などがある場合は、コメントよりご報告いただけますと幸いです。

ITやプログラミングに関するコラム

• 
  AI搭載のスマートグラス「Ray-Ban Meta」がアメリカで大人気らしい
• 
  【Open AIが支援】AI搭載ヒューマノイドロボット「Figure 01」が人間に近づいている
• 
  DXとSXの違いは？双方の意味や具体例も併せて解説
• 
  画像やテキストから動画を作れる「PixVerse」使い方。料金形態や商用利用の有無についても解説
• 
  論文を効率的に検索・要約できるAIサービス「SciSpace」の使い方とできることをわかりやすく解説

ITやプログラミングに関するニュース

• 
  LibreOffice 24.2.3 Communityリリース、80件以上の不具合修正とMicrosoft形式との高い互換性
• 
  Microsoftアカウントでパスキーサポート開始、パスワードレス認証の新時代へ
• 
  プロンプトに応じた動く文字ロゴを生成する「Dynamic Typography」が公開。Linuxで実行可能
• 
  Google、Geminiモバイルアプリが日本語に対応。20以上の言語で利用可能に