拡散モデル｜砂嵐のノイズを晴らして美しい絵を描き出す仕組み

砂嵐のようなノイズの霧から絵が生まれる不思議

画像生成ツールを使って、ほんの十秒ほどで美しい風景画が画面に現れるのを見ると、コンピューターの中に大量の写真が保存されていて、山や木を切り取って貼り合わせているだけのように思えるかもしれません。しかし実際には、もっと驚くべきことが起きています。出来上がった画像はどこかから切り取ってきたものではなく、テレビの電波が途切れたときの砂嵐のような、無意味な色の粒々の霧の中から描き出されているのです。

この技術は拡散モデルと呼ばれ、現代のイラスト生成や写真作成ツールの心臓部となっています。考え方の基本は、物理の世界の現象を逆回転させるような発想です。きれいな写真に少しずつ砂を振りかけていくと、最後にはただの灰色の砂嵐になってしまいます。それならば、その逆の工程をコンピューターに学習させ、砂嵐から少しずつ砂粒を取り除いていけば、新しい絵が現れるのではないかという着想から生まれました。

壁画修復師とススで覆われた壁のたとえ

この作業の様子を想像するために、古い洋館の壁画を蘇らせる熟練の修復師の仕事を思い浮かべてみてください。部屋の壁は暖炉から出た真っ黒なススと埃で分厚く覆われており、遠目にはただの黒くてザラザラした壁にしか見えません。

修復師は手元に『この壁の下には、木漏れ日が差す緑の森と小川が描かれている』という記録を持っています。いきなり強くこすって絵の具を痛めないよう、特殊なスポンジを使って表面のススを一筋だけそっと拭き取ります。すると、ぼんやりと緑がかった影が見えてきます。もう一度別の溶剤を使って丁寧に表面をなでると、今度は木の幹の茶色い線が浮かんできます。こうして少しずつ、何十回も慎重に汚れの粒を取り除いていくと、最後には鮮やかな色彩の森の風景が部屋の中に甦ります。

コンピューターの中で起きている計算も、まさにこの修復師の手つきと同じです。プログラムは最初、ランダムな色の粒だけで満たされた画面を用意します。そしてあなたが入力した言葉を手がかりに、『どの部分の粒を消せば空の青さが現れるか』『どこを整えれば木の葉の形になるか』を計算しながら、少しずつノイズを取り除いていきます。数十回の計算ステップを経て、最後にくっきりとした一枚の絵が完成するのです。

拡散モデルの技術が活用されている現場

この技術は単にお絵描きを楽しむだけでなく、さまざまなクリエイティブや産業の現場で使われています。

• 映画やゲームのコンセプトアート作成: デザイナーが作品の世界観を固めるために、街並みやモンスターのイメージ案を短時間でたくさん試作するのに使われます。
• 古い記念写真の高画質化や傷の修復: 何十年も前の色あせた家族写真のノイズや破れを取り除き、本来の表情をきれいに復元するサービスで活躍しています。
• 建物の内装イメージのシミュレーション: 建築家やインテリアデザイナーが、図面をもとに家具を配置したリアルな完成予想図を顧客に提示するために使われています。
• 医療分野や創薬研究での分子構造設計: 画像だけでなく、新しい薬になり得る化合物の立体的な分子の形を計算して設計する研究にもこの数学的仕組みが応用されています。

きれいな画像を作るためのちょっとしたヒント

ノイズを取り除いて絵を浮かび上がらせる仕組みがわかると、指示の出し方にも自然と工夫が生まれます。

• 光の当たり方や絵の質感を言葉にする: 『朝の柔らかな日差し』や『水彩絵の具のにじみ』といった質感を指定すると、計算の方向が定まりやすくなります。
• 同じ指示文で何度か生成し直してみる: 出発点となる砂嵐のノイズは毎回ランダムに変わるため、同じ言葉でもボタンを押すたびに違った構図の絵に出会えます。
• 一部分だけを指定して直す機能を使う: 全体を描き直すのではなく、気に入らない部分だけを選択してノイズを当て直し、再計算させる機能を使うと微調整が楽になります。

無意味な砂嵐の中から意味のある美しい形を救い出す技術は、コンピューターの高度な計算の結晶です。しかし、その砂の中から何を見つけ出したいかを決めるのは、いつだって画面の前にいる私たち自身の心の中の景色です。