読了時間:3分

AIの超解像で写真を大きくすると、見えなかった細部まで本物になる?

公開日

ポイントを30秒で

AIによる超解像は、小さな画像に残った色や形を手がかりに不足する細部を推定し、より大きく見やすい画像を作る技術です。

スマートフォンに残っていた小さな家族写真を印刷しようとして拡大すると、ぼやけていた髪の毛や服の模様が急にはっきり見えることがあります。仕上がりが自然だと、もともと写っていた細部が戻ったように感じます。しかし、元の画像に記録されていない部分には、ソフトが推定して付け加えた情報もあります。

画像を大きくすると何が足りなくなるのか

デジタル画像は色のついた小さな点の集まりです。小さな画像を大きく表示するには、元の点と点の間を埋めなければなりません。従来の拡大方法は周りの色から中間の色を計算するため、輪郭がなめらかになる一方、細かな模様はぼやけがちです。超解像のAIは、単に点を増やすだけでなく、そこにありそうな形や質感も推定します。

学習の段階では、小さくした画像と、それに対応する鮮明な画像を比べます。モデルは、小さい画像に残った色や輪郭が、鮮明な画像のどのような細部と結びつきやすいかを調整します。実際の写真を処理するときは、その関係を使って新しい画素を埋めます。髪に見える部分なら細い線、布なら織り目に見える模様が加わる場合があります。

ここで大事なのは、似たようにぼやけた画像を生む鮮明な元画像が一つとは限らないことです。新しく描かれた髪の一本一本は、周囲の情報に合って見えても、撮影時にその形だったと確かめられたわけではありません。研究論文のSRGANは自然に見える質感を重視した方法を示し、後のESRGANは生成された細部に不自然な模様が混じる問題にも触れています。

見やすさと確認できる事実は別

たとえば遠くの看板の文字が元画像では読めない場合、拡大後に文字らしい輪郭が現れることがあります。それを実際の文字だと判断するには、別の写真や記録で確かめる必要があります。防犯映像の顔や車の番号についても同じです。鮮明に見えることと、元の撮影データにその細部が残っていたことは別です。

一方、古い写真をアルバムに載せたり、壁に飾るために大きくしたりするなら、見た目の自然さが目的になります。この用途では推定された質感が役立つこともあります。問題になるのは、補われた部分を記録そのものと取り違える場面です。画像処理を扱う法科学の指針も、元画像の保存、処理内容の記録、加工済みであることの明示を求めています。加工画像がすべて使えないという意味ではありません。

使うときに残しておきたいもの

まず元のファイルを残し、複製した画像を加工しましょう。印刷や鑑賞なら、目的の大きさで見て自然かどうかを判断できます。新たに見えた文字や顔の特徴が重要な判断に関わるなら、元画像と加工画像を並べ、どんな処理をしたかを伝えることが大切です。別の撮影記録や資料も探し、加工後の一枚だけで結論を出さないようにします。

超解像は、小さな画像を見やすくする助けになります。ただし、新しい細部は「そう見える可能性」を示すもので、撮影時の細部を証明するものではありません。何のために画像を使うのかで、その違いの重みが変わります。

参考資料
  1. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial NetworkProceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)
  2. ESRGAN: Enhanced Super-Resolution Generative Adversarial NetworksEuropean Conference on Computer Vision Workshops
  3. SWGDE Image Processing GuidelinesScientific Working Group on Digital Evidence