読了時間:4分

拡散モデル|ノイズの霧を晴らすように美しい絵を描き出す画像生成AIの仕組み

公開日 更新日

ポイントを30秒で

拡散モデルとは、段階的なノイズ除去の計算を通じて高品質な画像を生成する先進的な人工知能手法です。鮮明な画像に少しずつ砂嵐ノイズを加えて壊していく過程をあらかじめ学習し、それを逆再生するように、完全なノイズ画像から徐々に意味のある輪郭と色彩を復元して新しい作品を創り出します。

砂嵐のようなデジタルノイズから絵が立ち現れる不思議

画像生成AIの画面に「夕暮れの海辺を歩く柴犬」と入力して生成ボタンを押すと、最初は灰色のテレビの砂嵐のようなザラザラした画面が現れ、数秒から数十秒の間に霧が晴れるように美しい絵が浮かび上がってきます。多くの人は、AIがインターネット上の膨大なイラストや写真からパーツを切り抜いて貼り合わせていると想像しますが、実際の仕組みはそれとはまったく異なります。

現代の主要な画像生成ツールを支えている中心的な仕組みは、拡散モデル(Diffusion Model)と呼ばれます。物理の世界でインクや気体の分子が空気中に広がっていく「拡散現象」にヒントを得たこの数学的な仕組みは、散らかったノイズの霧の中から意味のある形や色彩を少しずつ取り戻すことで絵を完成させます。

ノイズを加える順プロセスと、それを逆回しにする学習プロセス

拡散モデルの開発は、お手本の写真に対して行われる「順方向の破壊プロセス」と、AIが身につける「逆方向の復元プロセス」の二段構えで進められます。

順方向の拡散では、鮮明な写真に対してごくわずかなテレビの砂嵐のような粒々(ランダムな色の砂粒=ガウスノイズ)を少しずつ重ねていきます。1ステップごとに微細なノイズを何百回も重ねていくと、元の画像は完全に崩壊し、最後には何の情報も残っていない真っ白な静電気の嵐へと変わってしまいます。

技術の真髄は、この破壊過程を逆再生する逆方向のノイズ取り(デノイジング)にあります。絵の構造を捉えるAI(U-Netや最新のDiffusion Transformerと呼ばれるニューラルネットワーク)は、砂嵐まみれの画像を見せられたときに「どの部分にどんな余分なノイズが混ざっているか」を正確に見抜いて消し去る練習を何千万回も繰り返します。

言葉の手がかりが霧の中で筆を導くメカニズム

新しい絵を生み出す際、AIは純粋なランダムノイズから出発します。ランダムなノイズには、数学的にあらゆる画像へと変化しうる無限の可能性が潜んでいます。そこに、言葉の指示をAIが理解できる数字の案内板に変換する仕組み(テキストエンコーダーによる単語ベクトル)が加わり、霧の中の道しるべとなります。

  • 初めのステップ(大まかな構図作り):ノイズ全体から大まかな明暗の偏りを引き算し、空の青や地面の茶色といった全体のレイアウトや構図を決めます。
  • 中盤のステップ(物の形の彫り出し):柴犬の毛並みや波打ち際の輪郭など、言葉に合致する具体的な形状をノイズの粒子の中から削り出していきます。
  • 仕上げのステップ(細かな質感の調整):瞳のハイライトや水面の反射光、毛先の一本一本に至る高精細なディテールを整え、ノイズ除去を完了させます。

苦手な表現(技術的な限界やボトルネック)と物理法則の理解不足

拡散モデルは息をのむほど美しい画像を生成しますが、万能の知能を持っているわけではありません。統計的な画素の並びを再現しているに過ぎないため、独特の限界に直面します。

  • 手の指や複雑な関節の破綻:指が6本描かれたり関節が不自然に折れ曲がったりするのは、AIが手の人体構造を理解しておらず、学習データ内で多様な角度を見せる指の重なりを平面的に処理してしまうためです。
  • 文字やアルファベットの描画ミス:看板や本の表紙に書かれた文字が意味不明な古代文字のようになってしまうのは、文字を意味ではなく幾何学模様として捉えているからです。
  • 物理的な影や光の矛盾:光源の位置と影の伸びる角度が一致しなかったり、水面に映る鏡像が左右反転していなかったりする物理的な不整合が生じます。

拡散モデルは世界を観察して描く画家ではなく、ノイズの嵐から統計的な美しさを掘り出す精緻な数学の彫刻刀です。その仕組みを理解することで、奇跡のような映像表現を楽しみながら、出力された結果の細部を冷静に見極める鑑賞眼が養われます。

参考資料
  1. Photorealistic Text-to-Image Diffusion Models with Deep Language UnderstandingGoogle Research