• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

画像認識と音声認識の複合AIによる災害状況認識ユニットの基礎研究

研究課題

研究課題/領域番号 23K23017
補助金の研究課題番号 22H01749 (2022-2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2022-2023)
応募区分一般
審査区分 小区分25030:防災工学関連
研究機関国立研究開発法人防災科学技術研究所

研究代表者

伊勢 正  国立研究開発法人防災科学技術研究所, 防災情報研究部門, 主任専門研究員 (10766380)

研究分担者 鈴木 基之  大阪工業大学, 情報科学部, 教授 (30282015)
河合 紀彦  大阪工業大学, 情報科学部, 准教授 (30610670)
研究期間 (年度) 2022-04-01 – 2025-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
17,680千円 (直接経費: 13,600千円、間接経費: 4,080千円)
2024年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
2023年度: 6,630千円 (直接経費: 5,100千円、間接経費: 1,530千円)
2022年度: 8,970千円 (直接経費: 6,900千円、間接経費: 2,070千円)
キーワード災害情報 / GIS / 音声認識 / 画像認識 / 災害対応 / 3次元都市モデル / PULATUE / 能登半島地震 / 被害把握 / 状況把握 / 情報共有 / 被害検知 / デジタルツイン / 防災情報 / AI / 被害調査 / 災害調査
研究開始時の研究の概要

本研究は、災害時において、画像認識と音声認識の複合的AI技術を活用し、一般的な自治体職員でも、円滑かつ効果的な被害状況把握を可能とするための基礎研究を行うものである。

研究実績の概要

本研究の主たる3要素であるGISデータの可視化、画像認識による被害建物の検知、音声認識による入力について、下記に示す成果を得た。
GISデータの可視化については、3次元都市モデル「PULATUE」の建物データを、AR(拡張現実)としてスマートフォンのカメラに連動し、リアルタイムで実際の空間と重ねて表示することに成功した。一定の精度で3次元都市モデルをAR化することができたが、正確に実際の建物と3次元都市モデルを重ね合わせるためには、一般的なスマートフォンのカメラや測位機器では不十分であることが判明した。
画像認識による被害建物の検知については、画像内で検出した被害建物をフレーム間で追跡し、カメラの位置姿勢をリアルタイムで推定するSLAMと合わせることで被害建物の位置を特定する手法の開発を行った。タブレット端末で動作するアプリとして実装し、事前検証として建物ではない物体を用いて動作を確認した。これに加えて、令和6年能登半島地震の被災画像データを収集し、被害建物の検出精度の向上のための前準備を行った。
音声認識による入力については、大規模言語モデル(LLM)を用いて、人間同士の対話履歴から情報を自動抽出する方法について検討を行った。被害家屋の位置情報は9割弱の精度で抽出が行えたが、被害の程度といった、より発話の多様性がある情報については5割程度であり、更なる改良が必要であることがわかった。また対話履歴を知識源とし、被害に関する問い合わせに対して適切に回答するチャットボットを試作し、その有効性を確認した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

上記の「研究実績の概要」に示したように、本研究の主たる3要素であるGISデータの可視化、画像認識による被害建物の検知、音声認識による入力について、それぞれ研究進捗が得られている。
GISデータの可視化については、国土交通省が主導する3次元都市モデル「PULATUE」の活用について研究開発を行い、実際に、一般的なスマートフォンで現実の空間にAR(拡張現実)として重畳することに成功している。ただし、実際の見え方と3次元都市モデルには数メートルの誤差が生じた。この点について、内閣府・準天頂衛星「みちびきコミュニティ」のエバンジェリストである野澤宇一郎氏に聞き取り調査を実施し、その原因と解決方法を把握している。
画像認識については、2024年1月1日に発生した「令和6年能登半島地震」に対して、研究代表者の伊勢が、内閣府ISUT(災害時情報集約支援チーム)の一員として、発災当日に石川県庁に入るなど、災害対応に貢献する機会を得た。こうした経緯から、被災画像(空撮動画を含む)の入手が可能であり、最終年度(2024年度)の研究開発のための材料を確保できている。
音声認識については、実際の災害時における建物被害調査の発話を入手することは困難であるため、災害現場での対応経験のある研究者による模擬的な会話を作成して、大規模言語モデルによる自動抽出を行い、一定の精度で抽出に成功し、その有効性を確認している。

今後の研究の推進方策

最終年度となる2024年度は、本研究の主たる3要素であるGISデータの可視化、画像認識による被害建物の検知、音声認識による入力について、それそれ下記の研究開発を実施し、各要素が連動して機能することを確認する計画である。
GISデータの可視化については、2023年度に把握した課題を踏まえ、高精度の測位を可能とする機器を用いて、プログラムを再構築する計画である。
画像認識については、令和6年能登半島地震の被災写真や動画を活用して、検出精度の向上を図る計画である。
音声認識については、令和6年能登半島地震の被災地において、被害調査を実施している状況を想定し、リアリティのある発話を再現し、その音声を元に検出精度の向上を図る計画である。
なお、本研究で得られた知見は、本研究の研究代表者の伊勢が、研究開発責任者を務める内閣府SIP第3期「スマート防災ネットワークの構築」のサブ課題C「災害実動機関における組織横断の情報共有・活用」の研究開発に反映し、社会実装に寄与することを目指す。

報告書

(2件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 研究成果

    (1件)

すべて 2022

すべて 学会発表 (1件)

  • [学会発表] YOLOによる物体検出を用いた全壊した住家の検出2022

    • 著者名/発表者名
      木村裕貴, 木内一隆, 河合紀彦, 鈴木基之, 伊勢正
    • 学会等名
      情報処理学会第85回全国大会
    • 関連する報告書
      2022 実績報告書

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi