2023 Fiscal Year Annual Research Report
画像と音声の相補的利用を導入した被災者探索用UAVの開発
| Project/Area Number |
21K04592
|
|---|
| Research Institution | Shibaura Institute of Technology |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 被災者探索 / レスキュー支援 / 音声処理 / 画像生成 / スペクトログラム画像 / UAV |
|---|
| Outline of Annual Research Achievements |
本研究計画では、画像と音声の相補的利用による災害地の被災者探索用UAVの開発に取り組んでいる。UAV搭載カメラを用いた映像による被災者探索と、同様にUAV搭載のスピーカーとマイクを用いた音声による探索の2つの手段を組み合わせて、自動被災者探索法を開発する。この画像を用いた被災者探索については、主に2021年度から2022年度にかけて取り組み、成果を論文で公開してきた。
音声を用いた探索では、UAVに搭載のスピーカーで災害現場に呼びかけつつ、同一UAVに搭載のマイクで音を集音し、その中から人の声を抽出することで探索を行う。この際、UAVは音を発しながら飛行するため、その音と被災者の音が混ざる。したがって、その混合音から人間の声を抽出することが重要な研究課題となる。2023年度では、主にその課題を追究した。具体的には、ドローンのプロペラ音をAIで生成し、その疑似プロペラ音をドローンに搭載マイクで取得した音声から引く。そうすることで、混合音からドローンの音を抑え、ドローンに搭載マイクで取得した音声に人間の声が混ざっている場合、それを抽出させるとのアップローチをとってきた。この試みの引き算処理を、「音の周波数データを利用する方法」と「音のスペクトログラム画像を利用する方法」という二通りで試みた。前者の場合、良い成果が得られたが、後者の場合、前者よりも良い成果を得ることができ、両者の結果を米国電気電子学会論文誌（IEEE Transactions on Services Computing, I.F=8.1）およびIEEE主催の国際会議で公開した。また、2023年中に本プロジェクトから生まれた新たな研究課題においても、IEEE系の論文誌（IEEE Access, IEEE Aerospace and Electronic Systems Magazine）で2件の論文を公開した。
|
