宇宙から物体を見つけるのは簡単。しかし、この挑戦​​はもっと難しい

シーンは海岸線から始まる。上空から撮影されたものだ。遥か上空から。砂浜が比較的平坦であることから、ビーチがある場所ならどこでもそうだろう。しかしすぐに、画面の左隅に、ここはアラブ首長国連邦のドバイだと告げる文字が現れる。しかし、それは今のドバイではない。1984年のドバイ、当時はフロリダ州タンパよりも人口が少なかった頃のドバイだ。

画面上では、時間があっという間に流れている。この動画は、数百マイル上空から撮影された衛星画像を組み合わせたタイムラプス動画で、この近代都市の様子を捉えている。気がつけば2003年。ヤシの木の形をした人工島が現れている。2007年には、島に生えている木のような形をした別の島が現れる。ビーチは今や真っ白とは程遠い。建物や道路が、さらに建物や道路を生やしている。2020年までに、この街を象徴する派手な建設プロジェクトが次々と立ち上がり、海岸線とその周辺の土地はすっかり様変わりしている。タイムラプス動画が始まった頃と比べて、人口は10倍以上に増えている。

この動画は、Google Earthのデータで確認できる長期的な変化を示すためのものでした。ドバイの38年間の進化をタイムラプスで記録したこの動画は、大規模建設が行われていた時期に特定の場所を撮影したアーカイブ写真に基づいています。衛星画像なら、後知恵は容易に可能です。

しかし、地球上のどこであれ、超高層ビルやピカピカの軍事基地がいつどこに出現するかも知らずに、大規模な建設プロジェクトが行われているのを自動検知できたらどうだろう？それは…決して簡単ではない。そして、諜報機関の研究開発機関である情報高等研究計画活動（IARPA）は、「スマート」と名付けられたプログラムを通じて、この取り組みをさらに飛躍させようとしている。

Smartとは、宇宙ベースの機械自動認識技術（Space-based Machine Automated Recognition Technique）の略で、その目的は、様々な地球観測衛星からのデータを「調和」させ、ソフトウェアにそれらから自然現象や人為的変化の兆候を探すよう指示することです。諜報機関から気象学者、保険会社、山火事の消防士まで、誰もが地球上で何が起こっているかを理解するために、これらの画像を利用したいと考えています。しかし、衛星データは人間の分析者が追跡できる量をはるかに超えています。分析の少なくとも一部を自動化することで、膨大なテラバイト単位のデータを活用し、退屈な作業を排除し、人間が解釈に集中できるようになります。

このプログラムの当初の焦点は、重機の建設現場の特定と監視です。なぜなら、上空から単一の物体を単に特定するのではなく、建設現場を特定するには、多くの物体と地形の変化を時間経過とともに特定し、そこからパターンを推測する必要があるからです。「今日私たちが目にするものの多くは、『特定の物体を見つけられるだろうか？』というものです」と、プログラムマネージャーのジャック・クーパーは言います。「そしてスマート氏は、それらすべての物体が一体何を意味するのかを解明しようとしています。」

建設工事は、この種の分析に適した実験台です。ジャングルであれ海岸であれ、ミサイルサイロ一式であれマクマンション一棟であれ、その様相は様々です。段階を経て、何年もかけて進行します。そして、どんな指標も決定的な証拠にはなりません。

例えば、現在、衛星画像を分析するアルゴリズムは、例えばあるエリア内のすべてのダンプ トラックを特定できます。しかし、大型建設工事を識別するために、スマート チームはダンプ トラック検出器を開発するだけでは不十分です。大型車両は、何も建設していない現場に現れることがよくあるからです。ダンプ トラックは高速道路を走行したり、所有者の私道に駐車したりもします。また、緑の植生が茶色い土に変わったときにソフトウェアが単にアラートを送信することもできません。その変化は単一の原因に特定できないためです。その変化は、新しい基礎のためにスペースを準備しているのではなく、皆伐を示している可能性があります。「重建設を定義するのは、これらすべてのパズルのピースが時間の経過とともにどのように組み合わさるかです」とクーパー氏は言います。「そして、それが重建設を困難なものにしています。それは活動です。単なるオブジェクトではなく、単なる単一の変化でもありません。」

Smartプログラムは2021年初頭に開始され、IARPA情報機関がアクセンチュア連邦サービス（AFS）、ブラックスカイ、システムズ＆テクノロジー・リサーチ、キットウェア、アプライド・リサーチ・アソシエイツ、ASTRA、インテリジェント・オートメーションといった企業を率いるチームに契約を授与しました。一部のチームは建設工事の検知に取り組んでいます。また、衛星はどれも同じように世界を捉えているわけではないという、新たな技術的問題にも取り組んでいるチームもあります。

衛星にはそれぞれ独自の特性がある。「緑」という色が必ずしもあなたと親友の目に同じようには見えないのと同じように、ある衛星から見た緑の芝生は、他の衛星から見たものと異なり、日によっても異なる。これは太陽の角度、大気の状態、あるいはカメラのセンサーのばらつきが原因かもしれない。「こうしたことが問題を難しくしています」と、Kitwareの人工知能担当副社長、アンソニー・フーグスは言う。「ですから、解決には程遠いのは確かです」。彼のチームは、建設工事の検出と、衛星画像間の違いを基本的に修正するという、より広範な問題の両方に取り組んでいる。このプロセスでは、画像を何らかの標準にリンクさせ、画像を比較したり、並べて処理したりできるようにする。

今月、スマートは第一段階を終了した。この段階では、チームは建設工事検出アルゴリズムを構築し、2014年から2021年の間に撮影された約9万平方キロメートルの地域を示す10万枚以上の衛星画像に対してその実力を試した。これは、新しい建設の指標となるさまざまな手がかりをつなぎ合わせるのにどのアプローチが最も効果的かを証明する、一種のバトルロワイヤルだった。AFSのマネージングディレクター兼コンピュータービジョンリーダーであるマーク・ボッシュ・ルイスは、「晩春から初夏は神経をすり減らす時期でした」と語る。「何がうまくいって、何がうまくいっていないかは分かっています」と彼は言う。「ただ、他の人がどうしているかは分かりません。しかし、これは他の研究者によって研究が推進され続けることを確認するための良い方法だと思います。」

チームが分析した画像は、4つの異なる衛星セットから提供された。NASAと米国地質調査所が共同で運用するランドサット、欧州宇宙機関（ESA）のセンチネル、そして地球の商業写真を撮影する周回衛星を運用するマクサーとプラネットの3社だ。チームのソフトウェアは、建設工事が存在する場所を正確に特定し、存在しない場所については誤検出を回避するよう努めた。これらの画像の中には、極端な例も含まれていた。ドバイの画像は明確に「はい」と判定されるべきだった。一方、アマゾンの熱帯雨林の画像は明確に「いいえ」と判定された。「システムは、この両方のケース、そしてその中間のあらゆるケースに対応できる必要があります」とクーパー氏は言う。

ジョンズ・ホプキンス大学応用物理学研究所、NASAゴダード宇宙飛行センター、USGSなどのパートナー機関は、まず画像を確認し、どの地点が建設許可の対象か、どの地点が建設許可の対象でないかを確認しました。春の半ばまでに、27の地域で約1,000の建設現場のラベル付けを完了し、各地点の進捗状況を時系列で追跡しました。チームは画像をソフトウェアで処理し、4月末頃に結果を提出しました。

この戦いに備えて、Kitwareのエンジニアたちは、このような画像でネットワークを学習させ、様々な状況や場所における堆積物を最もよく識別できる特徴とそれらの関係性を選択しました。彼らの分析では、複数の手法を組み合わせています。その一つは「材質特性評価」と呼ばれ、ピクセルを分析して、例えばコンクリートなのか土なのかを判断するものです。

もう1つはセマンティックセグメンテーションです。これは、画像内のどのピクセルがどのクラスのオブジェクト（「建物」「木」「新しい島」「道路」など）に属するかを判断することを意味します。「これらの特徴がどのように組み合わさるかを学習する融合手法を採用しています」とフーグス氏は言います。このモデルには、異なる種類のアルゴリズム、つまり「トランスフォーマー」と呼ばれる機械学習の一種が用いられています。トランスフォーマーは、建設が行われている場所で一定期間にわたって撮影された衛星画像などの連続データを取り込み、その関係性を追跡します。例えば、緑の領域が消え、白い領域が成長するといった具合です。これによりソフトウェアはコンテキストを学習し、視覚的なシーンから意味を抽出できるようになります。

一方、AFSは異なる方法でこの課題に取り組みました。それは、ソフトウェアにシーンの解釈方法を「教える」ために必要となることがある、大規模な学習データセットを再考することでした。これらの画像（多くの場合、数千枚に及ぶ）は、通常、人間によって識別・ラベル付けされた後、AIに過去の事例セットとして入力し、類似画像を認識する方法を学習させる必要があります。

WIREDは4週間にわたり、衛星の科学的利用に関するシリーズ記事を掲載します。シリーズの他の記事はこちら、こちら、そしてこちらでご覧いただけます。

猫や犬のシンプルな写真のような個別の物体であれば問題ないかもしれないが、高所から撮影された複雑な風景となると話は別だ。衛星写真1枚で都市圏全体を捉えてしまうこともある。「街の1枚の写真から見えるものすべてを想像してみてください」とボッシュ・ルイス氏は言う。バス停、郵便受け、アイスクリームスタンド、自転車に乗った子供たちなど。人間がこれらすべてにラベルを付けるには数週間と多額の費用がかかる可能性がある。そこで同社は、学術界から招聘した研究者たちの協力を得て、「事前に注釈やラベルが付けられた世界に頼らず、地上に何があるのか​​、どのように変化しているのかを自ら解明しようとする新しい技術」の開発に注力していると、ボッシュ・ルイス氏は言う。

これらの技術は「教師なし学習」と呼ばれる手法に基づいています。この手法では、研究者はニューラルネットワークに大量のラベルなしデータを与え、それを自由に動かして、どのようなパターンや特性を自力で識別できるかを調べます。例えばAFSは、同じ衛星画像からランダムに部分を抽出し、ネットワークに送信して、「これらの2つの領域は同じ画像からのものなのか？それとも異なる画像からのものなのか？」と尋ねます（Bosch Ruiz氏）。こうして、ネットワークは同じ画像のピクセルに共通する点を学習します。物体や活動をカテゴリに分類し、異なる画像間で認識を開始します。

今春、各チームがIARPAに結果を提出した際、評価チームが各チームの成果を評価しました。6月には、スマート社の第2フェーズ（18ヶ月間実施）に進む企業が決定しました。AFS、BlackSky、Kitware、Systems & Technology Research、Applied Research Associates、そして現在は防衛企業BlueHalo傘下となっているIntelligent Automationです。

今回は、チームはアルゴリズムを様々なユースケースに適用できるようにする必要があります。クーパー氏は、「検索対象となるあらゆる活動に対して、ゼロから新しいAIソリューションを設計するのは、時間と費用がかかりすぎます」と指摘します。建設現場を見つけるために構築されたアルゴリズムは、今度は作物の成長を見つけることができるのでしょうか？これは大きな転換点です。なぜなら、ゆっくりと進行する人為的な変化を、自然で周期的な環境的変化に置き換えるからです、とクーパー氏は言います。そして、2024年初頭頃に始まる第3フェーズでは、残りの参加者は、クーパー氏が「堅牢な機能」と呼ぶもの、つまり自然と人為的な変化の両方を検知・監視できるものへと進化させようとします。

これらのフェーズはどれも厳密な「淘汰」ラウンドではなく、必ずしも単一の勝者が出るわけではありません。DARPAの類似プログラムと同様に、IARPAの目標は、有望な技術を諜報機関に移転し、実社会で活用できるようにすることです。「IARPAは、指標に対するパフォーマンス、アプローチの多様性、利用可能な資金、そして独自のテストと評価の分析に基づいてフェーズを決定します」とクーパー氏は述べています。「フェーズ3の終了時には、チームが全く残っていない場合もあれば、複数のチームが残っている場合もあります。最善の解決策は、複数のチームの要素を組み合わせることさえあります。あるいは、フェーズ3に進むチームが全くない可能性もあります。」

IARPAの投資はプログラム自体の枠を超えて、科学技術の方向性を左右することもある。資金が流れれば科学も進むからだ。「IARPAがどのような問題に取り組むにしても、研究コミュニティから大きな注目を集めることになる」とフーグス氏は言う。スマート・チームは、そのアルゴリズムを民間用途や民生用途で使用することが認められており、IARPAがプログラムのために作成するデータセット（衛星画像の宝庫と呼ばれるものなど）は、他の研究者が利用できるように公開されることが多い。

衛星技術は軍事と民生の両方に応用できるため、「デュアルユース」と呼ばれることが多い。フーグス氏は、キットウェア社がスマート社向けに開発するソフトウェアから得られる教訓は環境科学にも応用できると考えている。同社のソフトウェアは既に、米国海洋大気庁（NOAA）などの組織向けに環境科学関連の業務を請け負っており、彼のチームは海洋漁業局が衛星画像からアザラシやアシカを検出するのを支援するなど、様々なプロジェクトに携わってきた。フーグス氏は、キットウェア社のスマートソフトウェアを、ランドサット画像の主要な用途である森林伐採の兆候把握に応用することを構想している。「ブラジルの熱帯雨林のどれくらいが人工地や耕作地に転換されているのでしょうか？」とフーグス氏は問いかける。

ボッシュ・ルイス氏によると、景観の変化を自動解釈することは、気候変動の研究に明らかな影響を与えるという。例えば、氷が溶けている場所、サンゴが死滅している場所、植生が移動している場所、土地が砂漠化している場所などを把握できる。新たな建設物を見つけることで、人間が自然景観に干渉している場所、森林が農地になっている場所、農地が住宅地に取って代わられている場所を知ることができる。

こうした環境への応用と、その科学界へのスピンアウトは、スマート氏が米国地質調査所（IARPA）を試験・評価パートナーに選んだ理由の一つだ。しかし、IARPAの研究者たちは、その研究結果自体にも関心を持っている。「環境問題の中には、特に気候変動に関しては、諜報機関にとって非常に重要なものがあります」とクーパー氏は言う。これは、軍民両用技術の2度目の応用が、最初の応用とほぼ同じ結果になる分野の一つだ。