画像と音声の相補的利用を導入した被災者探索用UAVの開発
| Project/Area Number |
21K04592
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 25030:Disaster prevention engineering-related
|
|---|
| Research Institution | Shibaura Institute of Technology |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 被災者探索 / レスキュー支援 / 音声処理 / 画像生成 / スペクトログラム画像 / UAV / 被災者の探索 / 救助支援システム / UAVカメラ画像 / 画像から人間認識 / 音声から人間認識 / ディープラーニングモデル設計 / 人体識別法 / 多重音からの音声の識別 / 映像からの人体識別 / ディープラ ーニング |
|---|
| Outline of Research at the Start |
ドローン等のUAV（遠隔操作航空機）は災害現場での被災者探索への活用が期待されている。しかしながら現在は、画像データを本部に送付し解析すること等により探索が行われており時間がかかる。また、人体の一部画像からの判断が難しいなどの課題がある。そこで、画像と音声を相補的に利用して、リアルタイムで自動的に被災者探索を可能とするUAVを実現するための技術基盤の開発が主な研究概要である。
|
| Outline of Annual Research Achievements |
本研究計画では、画像と音声の相補的利用による災害地の被災者探索用UAVの開発に取り組んでいる。UAV搭載カメラを用いた映像による被災者探索と、同様にUAV搭載のスピーカーとマイクを用いた音声による探索の2つの手段を組み合わせて、自動被災者探索法を開発する。この画像を用いた被災者探索については、主に2021年度から2022年度にかけて取り組み、成果を論文で公開してきた。
音声を用いた探索では、UAVに搭載のスピーカーで災害現場に呼びかけつつ、同一UAVに搭載のマイクで音を集音し、その中から人の声を抽出することで探索を行う。この際、UAVは音を発しながら飛行するため、その音と被災者の音が混ざる。したがって、その混合音から人間の声を抽出することが重要な研究課題となる。2023年度では、主にその課題を追究した。具体的には、ドローンのプロペラ音をAIで生成し、その疑似プロペラ音をドローンに搭載マイクで取得した音声から引く。そうすることで、混合音からドローンの音を抑え、ドローンに搭載マイクで取得した音声に人間の声が混ざっている場合、それを抽出させるとのアップローチをとってきた。この試みの引き算処理を、「音の周波数データを利用する方法」と「音のスペクトログラム画像を利用する方法」という二通りで試みた。前者の場合、良い成果が得られたが、後者の場合、前者よりも良い成果を得ることができ、両者の結果を米国電気電子学会論文誌（IEEE Transactions on Services Computing, I.F=8.1）およびIEEE主催の国際会議で公開した。また、2023年中に本プロジェクトから生まれた新たな研究課題においても、IEEE系の論文誌（IEEE Access, IEEE Aerospace and Electronic Systems Magazine）で2件の論文を公開した。
|
Report
(3 results)
Research Products
(38 results)
