| Project/Area Number |
22KJ0321
|
|---|
| Project/Area Number (Other) |
22J22982 (2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
井上 理哲人 東北大学, 情報科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2024: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2023: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2022: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | ドローン / ノイズ / リザバーコンピューティング / ヒューマンインタフェース / AR / 遠隔操縦 / 三人称視点 |
|---|
| Outline of Research at the Start |
高精度な屋外状況認識技術の実現に向けて，複数台ドローンを用いた屋外移動体の多次元情報計測システムを開発する．そのシステムの実現に向けて，ドローン羽音ノイズにロバストな人の情報処理プロセスを模した音計測システムの開発，死角の無い計測に向けた複数台ドローンの自動配置アルゴリズムの開発及び，ドローンからの計測情報の統合による，多次元情報の抽出・蓄積システムの開発を行う．これらを進め，様々なセンサをドローンに搭載することで，ユーザが必要とする屋外環境と移動体（人，動物や鳥等）の全ての多次元情報を一括で計測可能にする計測技術を確立し，遠隔地の高次元の状況認識技術の発展に寄与する．
|
| Outline of Annual Research Achievements |
本研究課題では，高精度な屋外状況認識技術の実現に向けて，複数台ドローンを用いた屋外移動体の映像，音，三次元点群データといった多次元情報をトラッキング可能な計測システムの実現を目的としている．2023年度はドローンでの収音を可能にするべく，複数マイクを搭載したドローン機体を作製し，マイクで取得した情報からドローンの羽音ノイズのみを除去するアルゴリズムを開発した．
ドローンを用いた収音は，ドローン自身の発するプロペラの羽音やモーターの回転音のために，機体にマイクを搭載するのみでは目標となる音を取得することが難しい．そこで，本手法では，時系列処理に適した機械学習モデルであるニューラルネットワークリザバーを用いて，ドローンモーターの回転数から，ノイズ周波数のピーク位置，振幅，バックグラウンドノイズの強度等をそれぞれ個別に学習及び推定し，動的に羽音ノイズのスペクトログラムを再構成する．そして，その再構成されたスペクトログラムを用いて，録音されたデータからドローンノイズを除去し，ターゲット音のみを抽出する．
2023年度ではノイズ推定及び除去手法の提案までが終了しており，提案手法の評価はまだ行えていない．今後は様々な条件下（異なるSN比，屋外及び屋内環境など）における他の機械学習モデルとの比較を行い，提案アルゴリズムの有効性を検証する予定である．また，それらの結果を纏めて査読付きの論文誌にも投稿する予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度，機械学習を用いてノイズ除去を行うアルゴリズムを開発した．また，本アルゴリズムを実行可能なドローン機体及びシステムを構築できた．今年度得られた成果及び知見は，多次元情報トラッキングシステムの核の一つであり，研究目標に向けて進展することができたと考えられる．
|
| Strategy for Future Research Activity |
今後は様々な条件下(異なるSN比，屋外or屋内環境など)における他の機械学習モデルとの比較を行い，提案したノイズ除去アルゴリズムの有効性を検証する．また，深度カメラを今年度開発した機体に搭載し，昨年度開発した複数台ドローン間距離算出アルゴリズムと組み合わせることで多次元情報トラッキングシステムを完成させる．
|
