2022 Fiscal Year Research-status Report
画像と音声の相補的利用を導入した被災者探索用UAVの開発
| Project/Area Number |
21K04592
|
|---|
| Research Institution | Shibaura Institute of Technology |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 被災者の探索 / 救助支援システム / UAVカメラ画像 / 画像から人間認識 / 音声から人間認識 |
|---|
| Outline of Annual Research Achievements |
本研究計画では、画像と音声の相補的利用を導入した被災者探索用UAVの開発に取り組んでいる。今回はUAV搭載カメラを用いた映像による被災者探索と、同じくUAV搭載のスピーカーとマイクを用いた音声による被災者探索の2つの手段を組み合わせて、自動被災者探索法を開発する。画像を用いた探索では、UAVに搭載した小型カメラからの画像に人物認識処理をかけることで探索を行う。音声を用いた探索では、UAV搭載のスピーカーで災害現場に呼びかけつつUAV搭載のマイクで集音し、その音声の中から人の声を抽出することで探索を行う。この際、UAVは音を発しながら飛行するため、その音と被災者の音が混ざってしまう。よって、その混合音から人間の声を抽出することが重要な研究課題となる。ここで、映像と音声の両方を用いた被災者探索のメリットを述べたい。まず、映像のみによる探索では、瓦礫等の下敷きになった被災者はUAVカメラの映像に映らず発見しづらいが、その際に、人間の声を集音すれば見つかる可能性が高まる。一方で、声が出ない状態の被災者は呼びかけに応答できず、音声による発見は困難であるが、映像をもとに探索すれば見つかる可能性が高まる。
2021年度から2022年度前半までは、主に、UAV搭載カメラで空中撮影した画像に基づく災害地の被災者探索を検討した。映像から顔・人体全体に限らず、一部のみが検出された場合も被災者として認識させられるよう追究し、その結果を論文で公開した。
また、上述の音声による被災者探索も検討し、UAV音と人間声の混合音から人間の声を抽出することに関して、論文2件を投稿済みである。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究は、画像と音声を相補的に利用してリアルタイムかつ自動で被災者を探索できるUAVの実現に向け、その技術基盤の開発を目的とする。具体的には、1）人体パーツ映像から人体を識別する方法の研究開発、2）多重音から音声を識別する方法の研究開発という2つの課題に取り組む。1）及び2）を実現するために、ニューラルネットワークを基礎としたディープラーニングモデル設計等を行ってきた。
1）人体パーツ映像から人体を識別する方法の研究開発では良い成果を得ており、実用化にかなり近づいている。
2）多重音から音声を識別する方法の研究開発では、UAV音と人間声の混合音から人間の声の識別を行っているところである。これについては既に、ある一定レベルの成果を得ており、論文投稿を行った。
以上の理由から、本研究はおおむね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
今後の研究の推進方策は、主に、UAV搭載マイクで取得されるUAV音と人間声の混合音から人間の声を識別することについてである。元々は、UAV音と人間声の混合音の周波数解析等を行い、人間の声を識別する予定であった。しかし、幅広い検討を行った結果、ある一定レベルの成果しか得られなかった。そこで、今後は、UAV音と人間声の混合音のスペクトログラム画像を生成し、そのスペクトログラム画像を解析することで、人間の声を抽出する予定である。
|
| Causes of Carryover |
2022年度国際会議で論文発表を計画していましたが、一部の内容において、期待通りの成果が得られなかったため、2023年度中に発表することとなりました。そして、次年度の使用額が生じた。
|
