• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

画像と音声の相補的利用を導入した被災者探索用UAVの開発

研究課題

研究課題/領域番号 21K04592
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分25030:防災工学関連
研究機関芝浦工業大学

研究代表者

プレーマチャンドラ チンタカ  芝浦工業大学, 工学部, 教授 (40632485)

研究期間 (年度) 2021-04-01 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
3,640千円 (直接経費: 2,800千円、間接経費: 840千円)
2023年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2022年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2021年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
キーワードレスキュー支援 / 被災者探索 / 人工知能 / 音声処理 / 画像処理 / スペクトラム画像 / 画像生成 / UAV / スペクトログラム画像 / 被災者の探索 / 救助支援システム / UAVカメラ画像 / 画像から人間認識 / 音声から人間認識 / ディープラーニングモデル設計 / 人体識別法 / 多重音からの音声の識別 / 映像からの人体識別 / ディープラ ーニング
研究開始時の研究の概要

ドローン等のUAV(遠隔操作航空機)は災害現場での被災者探索への活用が期待されている。しかしながら現在は、画像データを本部に送付し解析すること等により探索が行われており時間がかかる。また、人体の一部画像からの判断が難しいなどの課題がある。そこで、画像と音声を相補的に利用して、リアルタイムで自動的に被災者探索を可能とするUAVを実現するための技術基盤の開発が主な研究概要である。

研究成果の概要

本研究計画では、画像と音声の相補的利用による災害地の被災者探索用UAVの開発に取り組んできた。画像を用いた被災者探索では、空中からUAVカメラで撮影される画像から人体の認識および人体の一部の認識を行う手法を提案することで、被災者を検出した。また、音声による探索では、UAV搭載マイクで取得されるUAVのプロペラ音に人間の声が混ざっているかを認識することで、被災者を検出した。これらの取り組みは主に機械学習および深層学習モデルの提案によって行った。提案手法は実用化レベルに近づいており、これまでの研究成果として、Q1(上位25%)レベルの国際学術雑誌での公開5件を含め、多くの論文で公開してきた。

研究成果の学術的意義や社会的意義

本計画の画像による探索では、空撮画像に被災者の全身がはっきりと映っている場合だけでなく、人体の一部が小さく映っている場合でも被災者が検出可能なAIに基づいた手法を提案し、空撮画像からの被災者検出の性能を向上させた。また、音声による探索では、UAV搭載のマイクで取得した音声に混ざった人間の声を検出することで、被災者の把握を行った。マイクで取得した音声とAIが生成したUAV音声との差異から人間の声を検出、そのマイクで取得した音声のスペクトラム画像から人間の声を検出することを検討した。これらの新規手法は性能が高く、実用化に近づいており、災害地だけでなく、他の場面での空中からの人間捜索に応用できる。

報告書

(4件)
  • 2023 実績報告書   研究成果報告書 ( PDF )
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 研究成果

    (38件)

すべて 2024 2023 2022 2021 その他

すべて 国際共同研究 (2件) 雑誌論文 (5件) (うち国際共著 1件、 査読あり 5件、 オープンアクセス 4件) 学会発表 (27件) (うち国際学会 19件、 招待講演 18件) 備考 (2件) 学会・シンポジウム開催 (2件)

  • [国際共同研究] Mindanao State University(フィリピン)

    • 関連する報告書
      2023 実績報告書
  • [国際共同研究] University of Sri Jayewardenepura(スリランカ)

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] GAN Based Audio Noise Suppression for Victim Detection at Disaster Sites With UAV2024

    • 著者名/発表者名
      Premachandra Chinthaka、Kunisada Yugo
    • 雑誌名

      IEEE Transactions on Services Computing

      巻: 17 号: 1 ページ: 183-193

    • DOI

      10.1109/tsc.2023.3338488

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Drone-Based Automatic Water Sampling System2024

    • 著者名/発表者名
      Lariosa Irish Mae G.、Pao Jeanette C.、Banglos Charles Alver G.、Paradela Immanuel P.、Aleluya Earl Ryan M.、Salaan Carl John O.、Premachandra Chinthaka N.
    • 雑誌名

      IEEE Access

      巻: 12 ページ: 35109-35124

    • DOI

      10.1109/access.2024.3372655

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Automatic Detection of Abnormal Drone Flight State by Measuring Changes in Images Captured by a Drone-Mounted Camera2024

    • 著者名/発表者名
      Premachandra Chinthaka、Ichikawa Shintaro
    • 雑誌名

      IEEE Aerospace and Electronic Systems Magazine

      巻: 39 号: 3 ページ: 4-14

    • DOI

      10.1109/maes.2023.3347712

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] High Precision Location Estimation in Mountainous Areas Using GPS2022

    • 著者名/発表者名
      Yugo Kunisada、Chinthaka Premachandra
    • 雑誌名

      Sensors

      巻: 22 号: 3 ページ: 1149-1149

    • DOI

      10.3390/s22031149

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Head Posture Estimation by Deep Learning Using 3-D Point Cloud Data From a Depth Sensor2021

    • 著者名/発表者名
      Seiji Sasaki 、Chinthaka Premachandra
    • 雑誌名

      IEEE Sensors Letters

      巻: 5 号: 7 ページ: 1-4

    • DOI

      10.1109/lsens.2021.3091640

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] The Flying Shovel Picker: A Drone-Mounted Shovel-Based Rotational Dual Arm System for Picking up Indeterminate Objects2024

    • 著者名/発表者名
      Nilupul Nuwan Senevirathna, Chinthaka Premachandra
    • 学会等名
      2024 IEEE International Conference on Robotics and Automation(ICRA2024)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Droe-Enabled Voice and Image Recognition for Enhanced Victim Discovery in Disaster Zones2024

    • 著者名/発表者名
      International Research Convention 2024 (IRC24) organized by Sir Padampat Singhania University, India
    • 学会等名
      International Research Convention 2024 (IRC24) organized by Sir Padampat Singhania University, India
    • 関連する報告書
      2023 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Innovative Colormap for Emphatic Imaging of Human Voice for UAV-Based Disaster Victim Search2023

    • 著者名/発表者名
      T. Furusawa and Chinthaka Premachandra
    • 学会等名
      2023 IEEE Region 10 Symposium (TENSYMP)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] An Innovative Victim Search Approach by Subtracting Pix2Pix-Based Pseudo Propeller Sound-Image from UAV-Mounted Microphone Captured Sound-Image2023

    • 著者名/発表者名
      T. Furusawa and Chinthaka Premachandra
    • 学会等名
      2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS2023)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Depth Sensor Application in Ground Unevenness Estimation for UAV Emergency Landing2023

    • 著者名/発表者名
      T. Matsumoto and Chinthaka Premachandra
    • 学会等名
      IEEE Sensors Applications Symposium 2023
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Advanced Victim Discovery in Disaster Areas via Drone-Enabled Voice and Image Recognition2023

    • 著者名/発表者名
      Chinthaka Premachandra
    • 学会等名
      Intelligent Automation and Control Technologies (RIACT 2023)
    • 関連する報告書
      2023 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Advanced Techniques for Detecting and Classifying Objects Using Deep Learning with 3D Point Cloud Data2023

    • 著者名/発表者名
      Chinthaka Premachandra
    • 学会等名
      International Conference on Intelligent Systems: Approaches, Technologies, and Network
    • 関連する報告書
      2023 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] 画像間差分手法とAIの統合による映像・音声から対象物体の検出2023

    • 著者名/発表者名
      プレーマチャンドラ チンタカ
    • 学会等名
      電子情報通信学会東海支部学生会講演会
    • 関連する報告書
      2023 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Vision-Based Applications for Human Safety using 3D Point Cloud Data2023

    • 著者名/発表者名
      Chinthaka Premachandra
    • 学会等名
      2023 International Conference on Robotics, Control and Vision Engineering (RCVE)
    • 関連する報告書
      2023 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Voice-Image-Based Victim Search on Drones in Disaster-Stricken Areas2023

    • 著者名/発表者名
      Chinthaka Premachandra
    • 学会等名
      3rd International Conference on Computer, Remote Sensing and Aerospace(CRSA 2023)
    • 関連する報告書
      2023 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Cutting-edge Object Detection/Classification Approaches with Deep Learning and 3D Point Cloud Data by Depth Camera2023

    • 著者名/発表者名
      Chinthaka Premachandra
    • 学会等名
      6th Int'l Conference on Artificial Intelligence and Robots (AIR 2023)
    • 関連する報告書
      2023 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Human Recognition from High-altitude UAV Camera Images by AI based Body Region Detection2022

    • 著者名/発表者名
      D. Wijesundara, L. Gunawardena, and Chinthaka Premachandra
    • 学会等名
      12th International Conference on Soft Computing and Intelligent Systems and 23rd International Symposium on Advanced Intelligent Systems (SCIS&ISIS)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Cutting Edge Technologies for On-Drone Voice-Based Victim Searching in Disaster-Stricken Areas2022

    • 著者名/発表者名
      Chinthaka Premachandra
    • 学会等名
      Joint 12th International Conference on Soft Computing and Intelligent Systems and 23rd International Symposium on Advanced Intelligent Systems (SCIS&ISIS2022)
    • 関連する報告書
      2022 実施状況報告書
    • 招待講演
  • [学会発表] Technologies for voice-based victim searching in disaster-stricken areas using drones2022

    • 著者名/発表者名
      Chinthaka Premachandra
    • 学会等名
      Scientific Meeting by IEEE Lone Star Section Robotics and Automation Society and Aerospace Electronics Systems Society Chapter
    • 関連する報告書
      2022 実施状況報告書
    • 招待講演
  • [学会発表] A Hybrid Camera System for high-resolutionization of Target Objects in Omnidirectional Images2022

    • 著者名/発表者名
      Chinthaka Premachandra
    • 学会等名
      2022 IEEE Sensors Conference
    • 関連する報告書
      2022 実施状況報告書
    • 招待講演
  • [学会発表] ドローンを用いた被災地における被災者捜索活動のための音声処理及び関連技術2022

    • 著者名/発表者名
      プレーマチャンドラ チンタカ
    • 学会等名
      IEEE Sapporo Section学術講演会
    • 関連する報告書
      2022 実施状況報告書
    • 招待講演
  • [学会発表] Enhanced Omnidirectional Image Generation for Robotics2022

    • 著者名/発表者名
      Chinthaka Premachandra
    • 学会等名
      The 6th International Conference on Artificial Intelligence and Robots (AIR 2022)
    • 関連する報告書
      2022 実施状況報告書
    • 招待講演
  • [学会発表] Cutting-edge Technique for Expanding Practical-applications of Omnidirectional Cameras2022

    • 著者名/発表者名
      Chinthaka Premachandra
    • 学会等名
      2022 International Conference on Internet Engineering and Information Technology (IEIT2022)
    • 関連する報告書
      2022 実施状況報告書
    • 招待講演
  • [学会発表] UAVを使用した被災者早期発見のためのGANベースのノイズ抑制システム2022

    • 著者名/発表者名
      國貞有吾,Chinthaka Premachandra
    • 学会等名
      2022年電子情報通信学会総合大会(オンライン)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Sound-to-Sound Translation Using Generative Adversarial Network and Sound U-Net2022

    • 著者名/発表者名
      Y. Kunisada and Chinthaka Premachandra
    • 学会等名
      Proc. of 2nd International Conference on Image Processing and Robotics,
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] AI Based Object Recognition Performance between General Camera and Omnidirectional Camera Images2022

    • 著者名/発表者名
      S. Kaneda and Chinthaka Premachandra
    • 学会等名
      Proc. of 2nd International Conference on Image Processing and Robotics
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] 機械学習を利用した一般カメラ対全天球カメラ画像における物体認識の比2022

    • 著者名/発表者名
      金田正太,Chinthaka Premachandra
    • 学会等名
      2022年電子情報通信学会総合大会(オンライン)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Vision based approaches for autonomous flight of aerial robots2021

    • 著者名/発表者名
      Chinthaka Premachandra
    • 学会等名
      The 5th International Conference on Artificial Intelligence and Robots (AIR 2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Autonomous UAV Hovering/Landing Approaches with On-board cameras2021

    • 著者名/発表者名
      Chinthaka Premachandra
    • 学会等名
      2021 International Conference on Artificial Intelligence and Electromechanical Automation
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Cutting Edge Technique for Improving Omnidirectional Image Generation for Robotics Applications2021

    • 著者名/発表者名
      Chinthaka Premachandra
    • 学会等名
      The 3rd International Conference on Artificial Intelligence Technologies and Applications (ICAITA 2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Enhancements of Omnidirectional Image Generation2021

    • 著者名/発表者名
      Chinthaka Premachandra
    • 学会等名
      The 2nd International Seminar on Artificial Intelligence, Networking and Information Technology (AINIT 2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Autonomous Drone Landing with On-board Vision Systems2021

    • 著者名/発表者名
      Chinthaka Premachandra
    • 学会等名
      International Conference on Innovation and Emerging Technologies (ICIET) 2021, Workshop on Flying Robotics
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会 / 招待講演
  • [備考] プレーマチャンドラ チンタカ

    • URL

      https://web.chintaka.ele.shibaura-it.ac.jp/home

    • 関連する報告書
      2023 実績報告書
  • [備考] Chinthaka Lab

    • URL

      https://www.chinthakalab.com/

    • 関連する報告書
      2023 実績報告書
  • [学会・シンポジウム開催] 3rd International Conference on Image Processing and Robotics(ICIPRoB2024)2024

    • 関連する報告書
      2023 実績報告書
  • [学会・シンポジウム開催] 2nd International Conference on Image Processing and Robotics2022

    • 関連する報告書
      2021 実施状況報告書

URL: 

公開日: 2021-04-28   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi