当ブログでも何度か取り上げている動画生成AI「kaiber」
ミュージシャン用の割引プランも用意されていることから、音楽と動画の関係をより深めていこうとしていることが伺えます。
Kaiberは画像を動画に変えたり、プロンプトから生成したりという機能は勿論のこと、実は楽曲から動画を生成することも出来ちゃうのです。
この方法が分かれば、自分だけの動きのある動画がサクッと作れるようになります。
作り方の解説
実際の作品
メリットや注意点
上記についてお届けしていきます。
Audioreactivity機能
ミュージック ビデオとビジュアライザー:音楽を追加するだけで、ビデオが自動的にビートに同期されます。あらゆるビートやリズムに反応する魅惑的なビジュアル。
Kaiber公式ページによると上記のように説明されています。
曲のビートやラウドネスに動画の動きやビジュアルが反映されているようです。
デモ音源
下記の短い曲をデモ音源として作っていきましょう。
「深夜の2時間DTM」という企画で制作した曲のShortver.です。
梅をイメージした曲ということで優雅な雰囲気を取り入れてみました。
深夜の2時間DTMについての記事も書いてますので良かったらご覧ください。
作り方の工程
1.Create VideoからFlipbookを選択
現状では、Flipbookのみでしか音楽同期の動画は生成できません。
これからのアップデートに期待ですね。
2.音楽ファイルをアップロード
kaiberでサポートされている形式は以下の通りです。
また、アップロード出来る曲の最長時間がプランによって異なります。
Explorer:1分
Pro&Artist:8分
3.プロンプトの入力
黄色の枠では「どのような動画をつくりたいか」を記入します。
一応英語ですが、Google翻訳から出てきたものをコピペしているだけです。
和訳:優雅に咲く梅の花。繊細で色鮮やかな世界。
赤色の枠では「どのような画風で作るか」を指定します。
油絵風とか○○っぽくとか、ここで詳細に指定することも出来ますが今回は右側にある、おすすめの中から選びました。
Watercolour:水彩
青色の枠では、参照する画像をアップロード出来ます。
自分たちの写真やイラストなどで大まかなイメージがあれば、よりそれに近付きやすくなります。
イメージ画像:今回は無し
4.パラメーター設定
ここまで来たらもう一歩です。
「Camera Movement」や「Evolve」に関しては過去の記事でどのように変化するか記事にまとめたので良かったらご覧ください。
「Audio-reactivity」は音楽に反応してどのぐらいカメラやビジュアルを動かすか？という設定です。
折角なので今回は、色々試してみたいと思います。
5.プレビューから生成
上記のようにプレビューが出てくるのでお気に入りの画像を選んで生成を開始します。
Flipbookで生成するので消費クレジットは1秒=1クレジットです。
参照するイメージ画像がある場合は、プレビュー画面は表示されず生成が始まります。
実際の作品
Camera Movement:None
Evolve:4
Audio reactivity:High
Camera Movement:Zoom In
Evolve:0
Audio reactivity:High
Camera Movement:Zoom In
Evolve:6
Audio reactivity:High
注意点
Camera MovementはNone以外に設定
Audio reactivityを設定していてもカメラの動きが無いとオーディオと同期されません。
他の作品は、キックやスネアのタイミングでカメラが動いていますが、Noneだと反映されないので気を付けましょう
プレビュー後の変化の度合い
AI生成において難しいのが、プレビュー後の変化が想像通りになるかは結果を見てみないと分からない所です。
イマイチなものであったとしてもクレジットは消費されてしまいます。
より、詳細なプロンプトの設定でイメージが崩れないようにするのみです。
生成される動画の長さの設定
オーディオファイルの長さ分しか生成されないので「少しだけ長めに作ろう」が出来ません。
曲を書き出す時点で管理をすることが大切です。
まとめ
kaiberのAudio reactivity機能はMVを作る音楽家にとって非常に有益なものだと思います。
他の曲で試作した動画はYouTubeにて解説していくのでお待ちいただけると幸いです。
kaiberのサイトは下記からになります。
