サムスンのムーンショットは、AIがどれだけ過剰かという問いを私たちに突きつける

月面陰謀説をご存知ですか？いいえ、月面着陸の陰謀説ではありません。Samsung Galaxy S23 Ultraが月面の画像を偽造し、カメラが実際に撮影できるよりもはるかに精細な画像を作り出しているという説です。

それは本当でしょうか？現実は、単純な「はい」か「いいえ」の答えよりも少し複雑です。そして、よく見れば見るほど、写真が「本物」かどうかは、スマートフォンで撮影した写真のほとんどに当てはまることに気づきます。

月の問題が着陸

Samsung Galaxy S23 Ultraのムーンゲート騒動は、Redditユーザーのibreakphotosが月面撮影の実験について投稿したことから始まりました。彼らの主張によると、スマートフォンの超拡張ハイブリッドズームモードを使って月を撮影すると、Samsungは画像に月のような質感を効果的に加えるとのこと。

サムスンはこれを否定している。同社に問い合わせたところ、公式見解が示された。「サムスンは、あらゆる状況においてクラス最高の写真撮影体験を提供することに尽力しています。ユーザーが月の写真を撮ると、AIベースのシーン最適化技術が月を主要な被写体として認識し、複数枚の画像を合成して合成します。その後、AIが画質と色彩のディテールを強調します。写真に画像を重ねることはありません。ユーザーはAIベースのシーン最適化機能を無効にすることができ、これにより撮影した写真の自動ディテール強調は無効になります。」

複数の露出から一枚の画像を作り出すことは、コンピュテーショナル・フォトグラフィーの核心です。しかし、ibreakphotosが証明したように、そこにはそれ以上のことが起こっています。サムスンの偽の月写真論争は、ユーザーによるテストの一部がかなり巧妙だったことを示しています。月の写真はぼかされ、遠くから表示されていたため、カメラの光学系の性能に関わらず、どれだけのディテールを捉えられるかという点に厳しい制限が設けられていました。

しかし、Samsung Galaxy S23 Ultraの画像は、撮影元の画像よりもはるかにディテールが鮮明な印象を与えます。サンプル画像ではその効果は劇的です。

このテストは、月問題が本格化して以来、当然のことながら他の場所でも繰り返されています。例えば、有名YouTuberのMarques Brownlee氏もこのテストを試しましたが、Redditのibreakphotos氏ほど劇的な結果ではなかったものの、一定の効果はありました。モバイル写真コンテンツクリエイターのShayne Mostyn氏の結果は、両者の中間といったところでした。

月は円を描いて移動する？

何かが起こっているようだ。しかし、これはインターネット上で一部で信じられているような「ゴチャ」スクープではない。なぜなら、この問題は以前にも発生しているからだ。

サムスンは2年前、Galaxy S20 Ultraでムーンモード処理を導入しました。これは、同社が10倍ズームカメラと100倍ハイブリッド「スペースズーム」を発表した後継機です。その後継機であるS21 Ultraは、さらに優れたズーム性能を備えていましたが、写真の偽造を非難され、Inputが独自に調査を行いました。その結果、現在私たちが目にしている結論とほぼ同じ結論に達しました。Galaxy S21 Ultraは、月の撮影時に標準的な画像処理よりも少し高度な処理を行っていました。

サムスン自身も、2022年に同社の韓国ウェブサイトにあるCamCyclopaediaの一部として、その仕組みに関する長い説明を公開した。

「センサーから出力される高倍率の実画像にはノイズが多く、複数枚の画像を合成しても最高品質の体験を提供するには不十分です」と、サムスンのイ・ソヨン氏は記している。「これを克服するために、ギャラクシーカメラは最終段階でディープラーニングベースのAIディテール強化エンジン（ディテール強化技術）を適用し、ノイズを効果的に除去して月のディテールを最大限に引き出し、明るく鮮明な月の写真を完成させます。」

機械学習や AI を応用した技術だと言うことは、単に「アブラカダブラ」と言うこととほとんど変わりませんが、サムスンはそれをさらに一歩進めています。

「学習済みのAIモデルは、学習に使用されていない他の月の画像を挿入しても、月の領域を検出できます」とサムスンは述べています。これは、サムスンの機械学習が、システムの学習に使用された画像だけでなく、新たに撮影した月の写真を認識できることを意味します。

本当の真実は何ですか?

これをサムスンが最近発表した、Galaxy S23 Ultraのムーンモードは「写真に画像を重ねることはありません」という声明と合わせると、S23の処理エンジンが月のクレーターや「海」を形成する形状を認識していることが分かります。これが、このモードが月のJPEG画像を写真に貼り付けるのではなく、写真のディテールの認識を向上させる機能の根幹を成しているのです。

すると疑問が湧いてくる。Samsung Galaxy S23は他に何に対してもこのようなトリックを実行するのだろうか？興味深いことに、月はこの種の処理にほぼ唯一適した候補だ。

同期潮汐ロックとは、私たちが常に同じ月の面を見ることができることを意味します。月は毎日変化するものと考えるかもしれませんが、実際には月の表面が影に覆われる割合が主に変化します。

例えばエッフェル塔とは異なり、月の見え方は照明によって劇的に変化することはありません。月の撮影は通常夜間に行われるため、サムスンの画像処理は月が雲に部分的に隠れていると正常に動作しません。

サムスンの画像処理が月を巧みに操作する最も分かりやすい方法の一つは、中間調のコントラストを操作し、地形をより際立たせることです。しかし、この技術は、RAW画像には存在しない質感やディテールをも生み出す可能性を秘めていることは明らかです。

Samsungがこのようなことをするのは、Galaxy S21、S22、S23 Ultraの100倍ズーム画像がひどいからです。当然です。10MPの小さなセンサーに大きくトリミングする必要があるからです。スマホのペリスコープズームは素晴らしいですが、魔法ではありません。

信頼できる理論

ファーウェイは、2019年に発売された、それ以外は素晴らしい製品である「Huawei P30 Pro」で、月の写真を偽造したとして非難されているもう一つの大手企業だ。これは、同社が米国でブラックリストに載せられる前に発売された最後の主力製品であり、欧米での同社のスマートフォンの魅力を事実上失わせた。

Android Authorityは、このスマートフォンが写真に月のストック画像を貼り付けると主張しました。これに対し、同社は次のように回答しています。「ムーンモードは他のマスターAIモードと同じ原理で動作し、画像内のディテールを認識して最適化することで、ユーザーがより良い写真を撮れるようにします。画像を置き換えることはありません。AIモードは1,300以上のシナリオを認識するため、画像を置き換えると非現実的な量のストレージ容量が必要になります。機械学習の原理に基づいて、カメラはシナリオを認識し、フォーカスと露出を最適化して、形状、色、ハイライト／ローライトなどのディテールを強調します。」

馴染みがあるでしょう？

これらの技術は他のブランドではあまり見かけませんが、特に高尚な理由があるわけではありません。スマートフォンに少なくとも5倍の遠距離ズーム機能が搭載されていない場合、ムーンモードはほとんど意味がありません。

iPhoneで月を撮影するのは難しい。iPhone 14 Pro Maxでさえ月を撮影できるほどのズーム範囲はなく、自動露出では月が焼けつくような白い塊になってしまいます。写真家の視点から言えば、S23の露出コントロールは単体でも優れています。しかし、S23の月の写真は一体どれほど「偽物」なのでしょうか？

最も寛大な解釈は、サムスンが実際のカメラ画像データを使用し、機械学習の知識を応用して処理を調整しているというものです。例えば、ぼやけた画像からより詳細な情報を引き出そうとする際に、静寂の海と静かの海の輪郭をトレースするのに役立つかもしれません。

しかし、この線は、ケプラー、アリスタルコス、コペルニクスのクレーターの位置を、ソースでは捉えられない小さな特徴にもかかわらず、最終画像では不気味なほど正確に描写している点で、さらに引き伸ばされています。ぼやけたソースから月の位置を推測することはできますが、これは次元の違う話です。

それでも、Samsung Galaxy S23がここでどれほどの優位性を得ているかを過大評価しがちです。月の写真は一見悪くないように見えるかもしれませんが、それでもひどい出来です。S23 UltraとNikon P1000をフィーチャーした最近のVersusビデオでは、一眼レフより性能の劣るコンシューマー向け超望遠カメラの実力が示されています。

信頼の問題

月面写真に関する騒動は理解できる。サムスンは100倍カメラモードの宣伝に月面写真を利用しており、その画像はある程度合成されている。しかし、サムスンはここで、過去10年間、スマートフォンの写真撮影技術の革新を牽引してきた、拡大し続けるオーバートンAIの領域から一歩踏み出したに過ぎない。

これらの技術的なトリックは、AIと呼ぶかどうかはさておき、どれも携帯電話のカメラの基本的な機能だけでは不可能なことを実現するために設計されました。その初期、そしておそらく最も影響力のあったものの一つがHDR（ハイダイナミックレンジ）です。AppleはiPhone 4が発売された2010年にリリースされたiOS 4.1で、カメラアプリにHDRを組み込みました。

初期の頃は、この機能はたまに使う程度でした。初期のAndroidスマートフォンのHDR処理では、画像が偽物っぽく、平坦で、不自然な色合いに見えてしまうことが多かったのです。また、風に揺れる木の枝が、最終的なHDR画像を構成する露出の異なる場所に写り込む「ゴースト」も見られることがあります。

しかし、今日ではほぼすべてのスマートフォンで撮影された多重露出HDR処理が採用されています。これは目に見えない機能です。スマートフォンの画像信号処理プロセッサが、各露出から選択的な情報を選択することでゴーストを回避できるほど賢くなったことで、これはAI処理になったと言えるでしょう。

HDR画像はサムスンの月の写真ほど「偽物」ではありませんが、合成画像です。以前の世代のスマートフォンカメラで、レビューで絶賛されていた露出オーバーの空がいかに多く見られるかは驚くべきことです。

「ボケ」と呼ばれる背景ぼかしポートレートモードは、さらに作り物っぽい。これは2014年のHTC One M8から始まった。背面に4MPカメラを2台搭載したスマートフォンだ。視差効果を利用して近くの物体と遠くの物体を区別し、深度マップを作成し、画像の背景をぼかす。やり方はお馴染みの通りだ。

これらの画像は、携帯電話のカメラの安っぽいプラスチック部品よりもはるかに大きな、絞りの広いレンズの効果を模倣したもので、偽物です。しかし、被写体自体ではなく、被写体が置かれている状況が乱れているため、それほど気にしなくなりました。少なくとも、エッジ検出が特に不十分だった初期の頃に比べれば。

ハードウェアとソフトウェア

スマートフォンが自力で対応できなかった別のシーン、つまり低照度環境を「AI」が解決するには、もう少し時間がかかりました。しかし、ハードウェアは先に手ブレ補正機能を搭載していました。Nokia Lumia 920は、小型モーターを使って手ブレを補正し、三脚なしで長時間露光を可能にする光学式手ブレ補正機能を搭載した最初のスマートフォンでした。しかし、最近、数年前のスマートフォンのレビューサンプルを改めて見直す機会があり、2018年のHuawei P20 Pro以前には、今日の基準で見て特に優れた点はありませんでした。

Huaweiが「マスターAI」と呼ぶ技術を採用しています。P20 Proで夜景を撮影すると、まるで長時間露光で撮影したかのような感覚になりますが、カメラが露出レベルに基づいて画像をスライス状に構築するため、手持ち撮影が可能になりました。そして、アルゴリズムに投入された後続の画像は、全体のノイズレベルを低減するために活用されます。

これは現代の夜間撮影でよく使われる技術ですが、2023年には2018年よりもずっと早く進化する傾向があります。AIと機械学習がスマートフォン写真撮影の原動力となっていますが、これは約10年前に始まったハードウェア対ソフトウェアの戦いの結果です。ハードウェアは負けたと言えるでしょう。

Lumia 920以外のハードウェア面の例として、2012年に発売された光学21倍ズームを搭載したSamsung Galaxy Camera、高解像度・大型センサーを搭載したNokia 808 Pureview（2012年）とその後継機Nokia Lumia 1020（2013年）が挙げられます。そして、ほとんどの人が存在を知らなかった1インチセンサーを搭載したPanasonic Lumix DMC-CM1もその一つです。

結局、分厚くて奇抜なデザインのスマートフォンではヒット作にはならないようです。そのため、ハードウェアの真の飛躍は、この型に収まるようになった近年になって初めて見られるようになりました。Huawei P30 Proはその好例の一つで、折りたたみ式光学系を備えた5倍ペリスコープズームを搭載した初の主流スマートフォンです。そして、この最新のソフトウェア騒動の発端となったのも、まさにこのハードウェアです。

画像AIを快適にする

Googleは、シンプルなハードウェアからでも特別な何かを生み出すことができることを証明しました。天体写真モードは、Samsung Galaxy S23 Ultraの月撮影モードの「ズームアウト」版と言えるかもしれません。

Googleの天体写真ピクセルモードが偽物だと非難する人はいませんが、実際には肉眼では見えないものを再現しています。2019年のGoogle AIブログで説明されているように、このモードでは16秒間の露出を連続して撮影することで、夜空の星や天の川の塵の雲までも鮮明に再現します。AIの主な役割は、「ホットピクセル」（カメラセンサーの読み取り精度が低いピクセル）を特定し、星のように見える部分を周囲のピクセルの平均値に置き換えることです。

Googleは長年、「AI」カメラソフトウェアへのアプローチにおいて、いわば模範的な存在でした。同社のナイトサイトモードの画像は、他の機種に比べて明るすぎる印象が少なく、Pixelスマートフォンの色再現は概して非常に自然です。

しかし、SamsungやHuaweiと同様に、生成的な技術を用いており、誤解を招く可能性があります。Pixel 6のマジックイレーサー機能は、機械学習を用いて画像から人物を削除し、人物が写っていた部分を埋めることができます。Face Unblurは、メインカメラと超広角カメラで撮影した画像を組み合わせることで、画像の残りの部分が多少ぼやけても、顔だけを鮮明に映し出します。

これらの写真は、Samsung Galaxy S23 Ultraの月の写真のように、見た目とは少し異なります。しかし、SamsungとHuaweiは一線を越え、自社製品を欺いたり、偽装したりしたように見受けられます。これは、いつ撮影されるかということと関係があるのか​​もしれません。Samsungがギャラリーアプリに「月を強調」ボタンを搭載しても誰も怒らないでしょうが、少し安っぽい印象も与えます。

AIが私たちが求めているものを、不安を掻き立てるような方法で提供してくるという不安に、私たちは慣れなければならないでしょう。チャットボットが正しいかどうか確信が持てない情報を提供したり、ソーシャルメディアがAI生成画像で溢れかえったりするなど、AIの成長痛はまだ始まったばかりなのかもしれません。