Sunoの曲に、コードでリリックビデオを付けた

2026年10月13日 · English

Sunoで作った曲「深夜3時、30歳」に、縦型のリリックビデオを付けた。動画編集ソフトは使わず、スクリプトだけで4K HDRの書き出しからYouTubeへの公開まで。

YouTubeで見る

最初のバージョンから

  1. イラストのシーン。アニメ調のキャラクターを歌詞に合わせて切り替えた。曲の空気に合わなかったので、写真のように静かな部屋を固定カメラで見せる方向に変えた。
    鍵を握るアニメ調の男性と、下に歌詞
  2. 紙に書く。窓の前に半透明の原稿用紙を置いて、インクで歌詞を書いた。いちばん時間を使ったのがここ。原稿用紙の罫線を入れるか、紙が部屋から浮かないようにどれくらい透かすか、どの手書きフォントにするか。でも結局、紙が画面のいちばんいいところを隠していた。
    原稿用紙の罫線を入れた紙
    罫線あり
    罫線なしの同じ紙
    罫線なし
    よく透ける紙
    透ける
    ほぼ透けない紙
    透けない
    同じ歌詞を6つの手書き風フォントで書いた比較
    同じ行を6つのフォントで。Klee Oneにした。
  3. 窓に書く。夜景に直接書いたら、部屋と街がそのまま見えるようになって、ずっとよくなった。
    窓に光で書いた歌詞

わかったこと

作り方
  1. タイミング:Whisper(stable-ts)で歌詞を音源に合わせて1文字ずつ時刻を取り、拍も解析する。
  2. 背景:GPT Image 2.5で夜の部屋を作り、同じ構図のまま「夜明け前」と「ランプ消灯」に編集する。
  3. 動き:OpenCVでカーテンと植物を揺らし、空を夜から夜明け前へ、ランプを点けたり消したりする。すべて時刻だけで決まるので、どこを書き出しても同じ画になる。
  4. 歌詞:Remotion(React)で窓に縦書きで描き、歌っている行を明るくする。タイトルは1拍に1文字ずつ書く。
  5. 仕上げ:光源だけを伸ばすHDR処理をして、YouTube、ショート、リール、ストーリーズに切り出す。審査前のアプリからAPIでアップすると非公開に固定されるので、アップだけ手でやり、残りの設定と公開はスクリプトでやる。

4分23秒、2160×3840、30fps。画像生成は約3.4ドル。4Kの書き出しはMacBook Pro(M5 Max)で約55分。