生成系AI

【大量参考動画】音楽から動画を作れるオシャレな動画AIならコレ!「Kaiber」のAudioreactive機能でオリジナル曲にMVが出来る!

あばん
あばん
kaiberの進化が凄いねぇ…

もーだん
もーだん
筆者も大好き生成AIだからね!

またKaiberの話をさせてください。
以前にも似たような機能を別記事にて紹介させていただきました。

そして、進化を遂げたkaiberの「motion3.0」によってさらに躍動感のある動画が生成されるようになりました。

自分の曲にMVを手軽に付けたいという悩みをお持ちの方の参考になれればと思います。

なので今回は、
使い方や画面説明
動画のレビュー
上記についてお届けしていきます。

作り方の手順

「Create Video」から進んでいき「Motion」もしくは下段左にあるテンプレートの「Audioreactive」を選択しましょう。

テンプレートで選択していくと、サンプルの画像と音楽で生成することが出来ます。

実際に下記のような設定で生成してみました。

音が出ます!音量注意!

あばん
あばん
うおおお…かっこいい…!!

もーだん
もーだん
曲の起伏に合わせて動いてるね!

上記の設定で生成したのですが、再度プロンプト等の設定画面を呼び起こしてみると、Motionの設定が非表示となっていました。

指定したのだから反映されてないことはないと思うのですが、少しもやもやしますね。

しかし、生成結果には満足です。
星の流れ方やダイナミックな動きは息を飲むものがあります。

スポンサーリンク

オリジナル素材で生成する

音源

画像

近未来っぽい曲なのでそれに合うようにネオン輝くビル群の画像を生成しました。

その1

Evolve=0
Motion=8
Audio-reactivity=High

その2

Evolve=10
Motion=10
Audio-reactivity=High

あばん
あばん
めちゃくちゃかっこいい…!

もーだん
もーだん
こういうのが作りたかったんだ!!

大きく違うのはEvolveの値です。
0にすると参考画像のイメージをある程度保ってくれています。
逆に最大まで振り切ると、どんどん景色が展開していって目まぐるしい印象があります。

どちらも最後の数秒で音がやむと変化がピタリと止まります。
それも踏まえた曲作りをするとより良い動画が生成されるかもしれません。

Evolveの値で景色が展開していく様子が変わる!
音源は空白部分とのバランスが重要

スポンサーリンク

歌入りの曲の場合

音源
「静寂と燃ゆ」というオリジナル曲の一部を持ってきました。

画像

その1

Evolve=0
Motion=10
Audio-reactivity=High

その2

Evolve=6
Motion=6
Audio-reactivity=High

その3

Evolve=10
Motion=10
Audio-reactivity=High

Evolveの値が低いと人物のイメージや全体の色味がある程度残されている印象です。
また、これらを生成するときに画像柄読み取った自動プロンプトを使いましたが、その際にどの個所を動かすかの指定があると良いでしょう。

Nebula swirls, stars explode, Mysterious illustration of the universe.
Shining stars.

上記のプロンプトにより星空メインの変化が多量に起こりました。

スポンサーリンク

Photorealsticの場合

今までの生成動画は全て「Animated」というモードで生成してきました。

次はより写実的でリアルな生成動画を作ってみました。
また、Audio-reactivityも変化させてみます。

音源

画像

写真っぽい画像を選んで動画のスタイルも「Photorealstic」で生成します。

その1

Evolve=1
Motion=2
Audio-reactivity=Medium

その2

Evolve=10
Motion=10
Audio-reactivity=High

あばん
あばん
全然違う動画が生成されてる…!
もーだん
もーだん
でも確かにリアルな感じにはなったね!

その1を作った際に、もっと変化があっても良いなと思って変化量を全開にしたらもはや人ではなくなってしまいました。

またこちらも、画像からプロンプトを自動で読み取ってもらったのですが、
・降り注ぐ雨粒、穏やかな波紋、柔らかな輝き
とのことでプールに浮かぶ男女2人の文言が無かったためこのようになったと思われます。

別の画像でも生成してみます。

画像

アニメ調の女性ですが、これをリアルに出来るのかという実験含めてやっていきます。

その1

Evolve=8
Motion=8
Audio-reactivity=Low

その2

Evolve=0
Motion=1
Audio-reactivity=High

対照的な設定を試してみました。

Audio-reactivityを高めに設定しても、他のパラメーターがある程度高くないと変化はしにくいようです。
逆にLowの設定でもパラメーターが高く設定されていれば見ごたえのある動画になります。

その3

Evolve=10
Motion=10
Audio-reactivity=High

ここで、動画のスタイルを「Lost」から「editorial magazine」というものに変えてみました。

あばん
あばん
いや、めちゃくちゃすごいやん…
もーだん
もーだん
これが見たかったんだよ!!

元の画像とはかけ離れましたが、肌の質感などとてもリアルに作られており、トランプが変化していく様は動画ならではの表現という感じで凄く満足した仕上がりになりました。

アニメ調にするかリアル調にするかを選べるようになっていますが、その際のスタイルとの相性は確実にありました。
これらはまだまだ実験を続けていきます。

スタイルの設定とプロンプトの指示は試行錯誤必須
参考画像をどれだけ重視するかも考慮する

スポンサーリンク

まとめ

AIで生成する際にプロンプトやスタイルで全く違うものが生成されますし、同じプロンプトでも2回目、3回目とまた違うものが作られるところが難しいところです。

しかしそれがAI生成の醍醐味だとも言えます。

自分の作った曲に色んなビジュアルの可能性があると考えるとワクワクしますね。

他にもkaiberに関する記事を書いているので良かったらご覧ください。

ABOUT ME
池田 耕平
夫婦アコースティックデュオ「アバンdeモーダン」のメンバー。 作詞作曲とDTMを使った編曲やミキシングを担当。 メイン楽器はアコギとハーモニカ。 DAWはStudioOne。 ・音楽制作(BGM・ボカロ) ・夫婦ライバー ・YouTube運営(カバー・DTM解説) ・当ブログ運営
こちらもおすすめ