読了時間:4分

テキスト動画生成AI|言葉から滑らかな映像を紡ぎ出す技術と物理世界の壁

公開日 更新日

ポイントを30秒で

テキストからの動画生成とは、文字で書かれた指示文をもとに、AIが画面内の映像と時間の経過に伴う動きを同時に計算して、滑らかな動画を自動的に作り出す技術のことです。

たった一行の文章指示(プロンプト)が映画のワンシーンに変わる驚き

「雪が静かに舞い散る夜の東京の街を歩く女性」と文章を打ち込むと、カメラが彼女の横顔からゆっくりと街並みへと横に動き(パン撮影)、ネオンの明かりが濡れたアスファルトに反射する息を呑むような高品質の動画がわずか数分で画面に現れます。OpenAIの「Sora」などに代表される言葉から動画を作るAI(テキスト動画生成AI)は、映画やデザインなどの創作分野(クリエイティブ産業)に大きな変革をもたらしています。

しかし、この魔法のような映像表現の裏側には、1枚の静止画を描くこととは比べものにならないほど膨大な計算の手間と技術的な壁が存在します。単に綺麗な絵を描くだけでなく、「時間の経過に合わせた自然な動きの連続性」をコンピューターに正しく保たせなければならないからです。

静止画から動画へ:時間のつながりを保つAIの仕組み

アニメーションや動画は、1秒間に24枚から30枚ほどの静止画が連続して切り替わるパラパラ漫画のような仕組みで動いています。しかし、絵を描くAIに「走る猫」の絵を24枚バラバラに描かせても滑らかな動画にはなりません。猫の毛の模様や背景の家具の位置がコマごとにチグハグに変わってしまい、画面が激しくチラついてしまう(フリッカー現象)ためです。

このチラつきをなくすために開発されたのが、時間と空間のつながりを同時に見張る仕組み(時空間アテンション機構 / Spatial-Temporal Attention)です。AIは1枚の画面の中にある色の点(ピクセル / 画素)同士の配置を計算すると同時に、前後のコマにわたってその点がどう動いていくかの道筋を同時に見比べます。

動画全体を時間と空間が合わさった小さな四角いブロック(時空間パッチ)として立体的に把握することで、カメラが動いても街並みの位置関係が崩れず、歩く人の服の色や髪型が途中で変わらずに一貫して保たれるようになります。

AIが現実世界の自然なルールを完全には再現できない理由

現在の動画生成AIがもっとも苦手としているのは、重力や物の衝突といった現実世界の自然法則の計算(物理シミュレーション)です。AIは物の重さや摩擦、水の流れの計算式(流体力学の方程式)を理解して動かしているのではなく、「過去に学習した膨大な動画の中で、色の点がどう動いていたか」の見た目の統計的な近さ(統計的類似度)を真似ているに過ぎないためです。

  • 原因と結果が食い違う(壊れた物が元通りになる):ガラスのコップが床に落ちて粉々に割れた直後、破片が床に吸い込まれて消えてしまったり、一口かじったはずのリンゴが次の瞬間には元通りの丸い形に戻ったりします。
  • 物体がすり抜けて別の物に変身する(貫通とモーフィング):すれ違う二人の人物の体がぶつからずに幽霊のようにすり抜けてしまったり、交差点を曲がる乗用車がいつの間にかトラックに溶けるように変形してしまいます。
  • 重力や浮力のあべこべな動き:水の中に投げ入れた重い石がなぜかプカプカ浮かび上がったり、走る犬の足が地面を踏みしめずに空中をスケートのように滑るような不自然な動きが現れます。
  • 手足の数が勝手に増えたり消えたりする:走っている馬の足が一時的に5本に増えたり、椅子から立ち上がった人の手が机の木目の中に溶けて消えてしまう現象が起こります。

SNSで見かける不思議な動画の真偽を見抜く観察のヒント

スマートフォンで手軽に再生できる解像度の低い短い動画では、こうしたAIの不自然なミスが、画面のざらつき(圧縮ノイズ)に紛れて気づかれにくくなります。ネット上で驚くような珍しい動物の動画や信じられないハプニング映像を見かけたときは、次のような細かい部分に目を凝らしてみましょう。

人や動物の足元が地面にしっかり接地しているか、背景の看板に書かれた文字がぐにゃぐにゃと形を変えていないか、コップから注がれる水が自然なカーブを描いて落ちているか。どれほど本物らしく見える動画であっても、物と物が触れ合ったり自然の力が働いたりする場所には、AIが計算をごまかした特有の歪みや不自然な跡が必ず現れます。

言葉から動画を生み出すAIは、頭の中の空想を誰もが手軽に形にできる素晴らしい道具です。その仕組みと現在の限界を正しく知っておくことで、新しい技術を楽しく使いこなしながら、ネット上に溢れる巧妙な偽の映像に惑わされない確かな目を養うことができます。

参考資料
  1. Spatio-Temporal Video Diffusion and Temporal Attention ArchitecturesCVPR
  2. Generative Video Synthesis and Physical Motion ContinuityACM SIGGRAPH
  3. Content Credentials and Metadata Specifications for Synthetic MediaC2PA