衛星画像からの建物被害検出に関する最近の研究
こんにちは、先進防災技術開発室の加藤奈々です。
今回は、衛星画像から建物被害を自動検出する技術に関する最近の研究を取り上げたいと思います。
瞬時に被害状況を把握することの重要性
災害が発生した際、瞬時に被害状況を把握することはとても重要です。
人命救助、救援物資の輸送等の支援活動はもちろんのこと、例えば地震で被害を受けた建物については余震等による倒壊や落下・転倒危険物等の危険を防ぐため、被災建築物応急危険度判定が速やかに行われます。
こうした活動は一刻を争うものですが、現地での被害調査はそれ自体危険を伴います。二次災害にも留意する必要があるため、事前に安全な経路や、被災建物の多い地域を把握することはとても重要だといえます。
衛星画像データを用いた建物被害検出の課題
こうした背景のもと、衛星画像データに対し、機械学習を用いて建物被害検出（Building Damage Detection 以下：「BDD」）を行う研究は、以前から進められてきました。
しかしながら、機械学習モデルを構築する上では、まず、どの建物がどの程度の被害を受けたのかという正解データが必要になります。正解データを準備する作業を「アノテーション」と呼びますが、災害時の建物被害データは無被害のものも含めれば数万〜数百万にも上ることがあり、各建物がどの位置にあり、それらの被災程度がどの程度であったのかを事前に入力する膨大なアノテーション作業が必要となることが課題となっていました。
アノテーション・フリーな建物被害検出手法
近年、画像とテキストの両方を理解し、統合的に処理することができる人工知能の研究が進んできたことにより、人力によるアノテーションなしに、効率的に建物被害検出を行う手法が研究されつつあります。
ここではその論文の一つ「Learning Efficient Unsupervised Satellite Image-based Building Damage Detection」（Zhang et al. 2023）を紹介したいと思います。
Unsupervised Building Damage Detection（U-BDD++）
当論文で提案されている建物被害検出手法（U-BDD++）は、事前のラベル付けが必要なく、同じエリアを撮影した災害前と災害後の衛星画像のペアがあれば、どの位置に建物があり、どの程度の被害が生じているかを瞬時に特定することができるというものです。
ポイントは、事前学習済みの視覚-言語基盤モデル（vision-language foundation model）を用いて、人工的にラベル付けを行うという点です。
具体的なモデルの構造は図のとおりです。
論文では、以下の３つの事前学習済みモデルが補助的に使われています。
Microsoft Researchと中国の大学が開発した高度な物体検出モデルで、下図のように「chair」などの用語で抽出したいオブジェクトの名称を与えることで、画像の中でその言葉で与えられるオブジェクトが存在する領域を特定することができます。
当手法では特に、災害前の衛星画像に対して「building」というオブジェクト名を与えることで、衛星画像の中に存在する、建物の領域を特定します。
CLIP（Connecting Text and Images）
2021年にOpenAI社が提案した画像分類モデルであり、画像とテキストの関連性の高さを判定することで、画像分類を行います。
Grounding DINOにより抽出された「building」と判定される領域候補は領域の重複や偽陽性を多く含むため、これをより精度のよいものにするために使用されています。
Meta社が提案した画像セグメンテーションの基盤モデルであり、下図のように物体の輪郭を検出し切り取ることができます。Grounding DINOとCLIPにより特定された建物領域を、更に絞り込むために使用されています。
これらの手法を用いて特定された各建物領域について、災害前と災害後の衛星画像のペアを比較し、建物の被災度による分類を行います。
U-BDD++の衛星画像データへの適用事例
以下の画像は、当手法を実際の災害時データに適用したものです。 データセットは、過去に行われた建物被害検出のコンペティションxView2 Challengeのデータ（xView2 xBD dataset）から選出されています。
左の２つの画像はそれぞれ災害前と災害後の衛星画像のペア、右側のU-BDD++が当モデルによる被災度判定結果、一番右のGround Truthが正解データです。
U-BDD++による建物被害検出結果は正解データと完全には合致しないものの、被災度が高いエリアを検出することはできており、一定の有用性があるものといえそうです。ただし、本論文で検証に用いられたデータは全て海外のものであるため、日本のデータへの適用にあたっては検証が必要になってくると思います。
まとめ
今回は、アノテーション・フリーで衛星画像から建物被害を自動判読する技術に関する研究を取り上げました。近年では、多くの民間衛星が打ち上げられ、衛星データや人工知能を活用した災害対応への期待が高まっていると感じます。引き続き、技術を通じて災害対応に貢献していけるよう尽力していきたいです。
最後に、noteの更新情報やスペクティの最新情報は公式Xにて発信しています。ぜひフォローをお願いします！
次回もお楽しみに！