Top.Mail.Ru
AIミュージックビデオ生成 — プロンプトでなく音声から

音声から始めるAIミュージックビデオ生成

完成した曲をファイルでアップロードしてください。ClipChatがそれを聴き(ジャンル、BPM、キー、歌の言語、主役の楽器、ムード)、曲の各セクションがどこで始まりどこで終わるかに印をつけます。カット構成はその構造の上に組まれ、何かが生成される前にあなたが承認します。

曲をアップロード → 構成を読む → カット構成を承認 → シーンを生成
曲をアップロード
無料・アカウント不要:文章の解釈、最大2つの世界観、タイムコードつきのシーンカード最大6枚が約60秒で届きます。この結果は文章と絵コンテで、映像ファイルではありません。映像の生成にはアカウントが必要で、登録時に最初の短いクリップ用の初期枠がつきます。インターフェースは17言語に対応しています。
Pipeline

使い方

手元のファイルから完成したシーンまでの6ステップです。

01
音声ファイルをアップロード
MP3、WAV、M4A、AAC、OGGを10分まで。ファイルである必要があります。配信ページへのリンクは受け付けません。
02
曲が解析される
ジャンル、BPM、キー、歌の言語、主役の楽器、ムード。曲のセクションの境目(Aメロ、サビ、ブリッジ、ドロップ)にタイムコードで印がつきます。
03
読み取りと絵コンテが届く
曲の解釈を書いた文章、最大2つの世界観、タイムコードに紐づいたシーンカード最大6枚。約60秒、アカウント不要です。この部分は文章で、映像ではありません。
04
チャットで話し合う
ここからはアカウントが必要です。監督と話すように解釈を詰められます。世界観、登場人物、あるセクションの意味づけを変えられます。クリップ全体の絵コンテは先に用意されます。
05
承認してから生成
あなたがプランを承認するまで、何も生成されません。承認後にシーンが1つずつ作られ、カットはビートの等間隔グリッドではなく曲のセクションの境目に置かれます。
06
同じ人物を保つ
参照画像が1枚あれば、同じ人物を全シーンに登場させられます。その人物の5方向を渡すと、一貫性はさらに強くなります。
Difference

ClipChatと、プロンプト入力型の動画生成ツール

プロンプト入力型ツール(Runway、Pika、Kaiber)ClipChat
出発点テキストのプロンプト。ツールはあなたの曲を一度も聴きません。映像を言葉で説明して、合うことを願う形です。音声ファイル。まずあなたの曲の解析があり、プロンプトはそこから書かれます。
カットが落ちる場所生成されたクリップが終わったところか、あとから編集ソフトで自分が引いた等間隔のグリッド上。解析から得た、曲自身のセクションの境目(Aメロ、サビ、ブリッジ、ドロップ)。
映像全体の設計クリップ単位。構成は頭の中で持ち、結果はあとで自分で組み立てます。タイムコードつきの絵コンテ全体が先に書かれ、1シーンも生成されないうちにあなたに提示されます。
出力の質解像度が高く、画面比も選べます。今のところこれが本当の強みです。480p、9:16のみ。ここは負けており、隠すより言うほうを選びます。
支払う前に試せるかたいていは、何かを見る前にアカウントとクレジットが必要です。解釈、最大2つの世界観、最大6枚のシーンカードがアカウントなしで無料。映像そのものにはアカウントが必要です。
FAQ

よく聞かれること

自分の曲のミュージックビデオを作るのに、いちばん良いAIツールは?

すでに何を持っているかによります。曲が録音済みなら、音声を読むツールのほうが、曲が実際に変わる場所にカットを置けます。プロンプト入力型はファイルを聴かないので、それができません。まだ音源がないなら、プロンプト入力型が正解です。ClipChatは音声ファイルがないとそもそも動きません。そして今すぐ1080pや横型が必要なら、別のツールをお使いください。ClipChatは480p、9:16で生成します。

音声ファイルからAIミュージックビデオを作れますか?

はい。ClipChatはその方法でしか動きません。MP3、WAV、M4A、AAC、OGGを10分までアップロードしてください。ジャンル、BPM、キー、歌の言語、主役の楽器、ムードが解析され、セクションの境目に印がつき、その上にカット構成が組まれます。長い曲はセクションごとに処理されます。

登録不要で使える無料のAIミュージックビデオ生成はありますか?

解析は無料でアカウントも不要です。曲の解釈を書いた文章、最大2つの世界観、タイムコードつきのシーンカード最大6枚が約60秒で届きます。それが何かは、はっきりさせておきます。文章と絵コンテであり、映像ファイルではありません。映像の生成にはアカウントが必要で、登録時に最初の短いクリップ用の初期枠がつきます。

ClipChatは音楽も作りますか?

いいえ。ClipChatはすでにお持ちの曲に映像をつけます。作曲も歌唱も制作も行いません。完成した音源はあなたが用意します。

映像は曲に沿いますか。それとも音の上にクリップを並べているだけですか?

カットは曲の構成(Aメロ、サビ、ブリッジ、ドロップの境目)に従い、ビートの等間隔グリッドには従いません。このセクションの地図はあなたのファイルの解析から得られるので、シーンの切り替えは音楽が変わる場所に落ちます。

出力の解像度と画面比は?

480p、縦型9:16です。これが現在の生成設定であり、プロンプト入力型ツールが私たちより先を行っている主な点です。リリースに今すぐ1080pや横型が必要なら、ClipChatは適したツールではありません。

Honesty

まだできないこと

なぜこの作りにしたか

この分野の多くのツールは、一文のテキストを求め、数秒の映像を返します。曲そのものは工程に一度も入らないので、音楽をやっている人が編集者に変わってしまいます。クリップを生成し、切り、サビにだいたい合うまでカットを動かす。私たちは順番を逆にしました。先に音声を読み、曲が変わる場所を見つけ、そのタイムコードに合わせてカット構成を書き、その曲を書いた本人にプランを見せ、承認されてはじめて生成する。出力解像度は今のところプロンプト入力型ツールより低く、そこははっきり言っておきます。難しかったのは構成のほうで、私たちはそれを先に解きました。

曲をアップして、何かを使う前にプランを読む

曲をアップロード